Đánh giá Tổng Quát Khả Năng của Mô Hình Ngôn Ngữ Lớn

Đánh giá Tổng Quát Khả Năng của Mô Hình Ngôn Ngữ Lớn

Tính đến cuối năm 2023, số lượng mô hình ngôn ngữ lớn trong nước đã lên tới gần 200, với sự đa dạng của mô hình chung và ngành nghề. Sau thời gian cạnh tranh khốc liệt, trọng tâm của ngành đã chuyển sang việc phát triển đa dạng ở mặt ứng dụng. Trí tuệ nhân tạo tạo ra nội dung đã trở thành một phần quan trọng của các lĩnh vực chính, không chỉ cải thiện trải nghiệm người dùng và hiệu suất công việc mà còn thúc đẩy các mô hình kinh doanh mới và sáng tạo.

Trung tâm Nghiên cứu InfoQ đã sử dụng phương pháp nghiên cứu bàn giấy và phân tích khoa học để đánh giá chín khả năng cốt lõi bao gồm: Hiểu ngữ nghĩa, Sáng tác văn học, Hỏi đáp kiến thức, Lý luận logic, Khả năng lập trình, v.v. Trên cơ sở đó, họ đã kiểm tra hơn 3000 câu hỏi đối với mười mô hình nổi bật.

Theo kết quả đánh giá của Trung tâm Nghiên cứu InfoQ, so với tháng 5 năm 2023, tất cả các khả năng của mô hình ngôn ngữ lớn đều có sự cải thiện đáng kể, với mức tăng trung bình là 23,39% (trừ các câu hỏi đa phương tiện). Đặc biệt, khả năng lập trình, dịch thuật, kiến thức, viết thương mại và viết văn học đều đạt tỷ lệ điểm trên 80%.

Những tiến bộ đáng kể trong khả năng lập trình đã được thể hiện qua việc mô hình ngôn ngữ lớn đã đạt được tổng tỷ lệ điểm 87%, cao nhất trong tất cả các nhóm câu hỏi. Điều này cho thấy tiềm năng to lớn của mô hình ngôn ngữ lớn trong lĩnh vực lập trình và mở ra triển vọng rộng lớn cho tương lai.

Một điểm nổi bật khác là sự tiến bộ nhanh chóng trong khả năng lý luận logic, với tỷ lệ điểm trung bình là 51,92%, tăng 49,45% so với đợt đánh giá trước. Đặc biệt, trong các lĩnh vực như bảng tính kinh doanh và hài hước, tỷ lệ điểm vượt quá 70%. Tuy nhiên, các lĩnh vực như suy luận logic đặc trưng tiếng Trung, suy luận logic MBA, toán học và ứng dụng toán học vẫn cần cải thiện thêm.

Trong lĩnh vực viết văn học, mô hình ngôn ngữ lớn đã thể hiện xuất sắc trong việc sáng tác văn bản tiếng Trung đơn giản và thơ ca, với tỷ lệ điểm trên 85%. Tuy nhiên, khi độ khó tăng lên, đặc biệt là trong việc viết đối liên và văn bản mang đậm đặc trưng tiếng Trung, hiệu suất giảm đáng kể.

Về khả năng viết thương mại, mô hình ngôn ngữ lớn cũng thể hiện khả năng mạnh mẽ. Họ đã đạt được điểm tối đa trong việc soạn thảo phỏng vấn và tỷ lệ điểm trong việc viết thư điện tử vượt quá 90%. Tuy nhiên, trong các lĩnh vực chuyên sâu hơn như báo cáo vận hành thị trường và phân tích thị trường, hiệu suất còn hạn chế và cần cải thiện.

Kết quả đánh giá tổng thể cho thấy, mô hình ngôn ngữ lớn ChatGPT-4 đứng đầu về khả năng tổng hợp, với tổng tỷ lệ điểm là 82,90%. Điều này cho thấy sự tiến bộ đáng kể của mô hình ngôn ngữ lớn trong việc hiểu ngữ nghĩa, lý luận logic, viết mã, và trả lời câu hỏi kiến thức.

Nhìn chung, mô hình ngôn ngữ lớn trong nước đang chứng tỏ tiềm năng to lớn và sẽ tiếp tục phát triển mạnh mẽ trong năm 2024. Sự hợp tác giữa phần cứng và phần mềm, cùng với việc áp dụng thực tế trong doanh nghiệp, sẽ định hình hướng đi mới của ngành.

Tóm tắt 5 từ khóa:

• Mô hình ngôn ngữ lớn
• Khả năng tổng hợp
• Cải tiến kỹ thuật
• Ứng dụng doanh nghiệp
• Triển vọng tương lai