Baichuan 3: Một mô hình ngôn ngữ lớn vượt trội với hơn một nghìn tỷ tham số

Ngày 29 tháng 1, công ty công nghệ Baichuan đã công bố mô hình ngôn ngữ lớn mới nhất của họ, Baichuan 3. Với hơn một nghìn tỷ tham số, mô hình này không chỉ là một bước đột phá về quy mô mà còn chứng tỏ khả năng vượt trội trong nhiều lĩnh vực.

Trong các thử nghiệm đánh giá năng lực tổng quát như CMMLU, GAOKAO và AGI-Eval, Baichuan 3 đã thể hiện được khả năng xuất sắc, đặc biệt là trong các nhiệm vụ bằng tiếng Trung. Hơn nữa, trong các thử nghiệm chuyên biệt về toán học và mã hóa như MATH, HumanEval và MBPP, mô hình này cũng cho thấy hiệu suất cao, chứng minh sức mạnh trong việc xử lý ngôn ngữ tự nhiên và tạo mã.

Ngoài ra, Baichuan 3 còn thể hiện sự vượt trội trong các thử nghiệm đánh giá khả năng suy luận logic và chuyên môn như MCMLE, MedExam và CMExam, nơi nó vượt qua cả GPT-4 trong các tác vụ y tế bằng tiếng Trung. Mô hình này còn cải tiến kỹ thuật “học tăng cường lặp đi lặp lại”, nâng cao khả năng hiểu và tạo ra ngữ nghĩa, đặc biệt nổi bật trong việc sáng tác thơ ca theo định dạng, nhịp điệu và ý nghĩa.

Mô hình với hàng trăm tỷ tham số khác thường gặp khó khăn trong việc huấn luyện do yêu cầu dữ liệu chất lượng cao, ổn định và hiệu quả huấn luyện. Baichuan 3 đã giải quyết những vấn đề này thông qua việc sử dụng các phương pháp và giải pháp đổi mới như lựa chọn dữ liệu động, duy trì độ quan trọng và lưu trữ kiểm tra đồng bộ.

Đặc biệt, Baichuan 3 đã được huấn luyện với hơn một nghìn tỷ token từ dữ liệu y tế, bao gồm các tài liệu nghiên cứu y học, hồ sơ bệnh nhân điện tử, sách chuyên ngành và cơ sở dữ liệu câu hỏi liên quan đến y tế. Điều này đảm bảo mô hình có kiến thức chuyên sâu và chuyên nghiệp trong lĩnh vực y tế.

Baichuan 3 đã được tối ưu hóa để thực hiện các tác vụ sáng tác văn bản phức tạp, như sáng tác thơ ca. Việc kết hợp giữa học tăng cường dựa trên phản hồi con người (RLHF) và học tăng cường dựa trên phản hồi AI (RLAIF) đã giúp mô hình này đạt được khả năng sáng tác vượt trội, với mức độ văn học cao hơn GPT-4.

Kết luận, Baichuan 3 không chỉ là một bước đột phá về quy mô, mà còn là một mô hình ngôn ngữ lớn với khả năng vượt trội trong nhiều lĩnh vực, từ xử lý ngôn ngữ tự nhiên đến tạo mã và sáng tác văn bản. Nó hứa hẹn sẽ mang lại nhiều ứng dụng phức tạp và hữu ích trong tương lai.

Từ khóa:

• Mô hình ngôn ngữ lớn
• Baichuan 3
• Học tăng cường
• Ngôn ngữ tự nhiên
• Triển vọng ứng dụng