Đè bẹp các bậc tiền bối! Meta ra mắt “mô hình mã nguồn mở lớn nhất và tốt nhất” Code Llama 70B, nhưng các nhà phát triển kêu than: Không đủ khả năng để chơi!

Code Llama: Mô hình mã hóa mạnh mẽ của Meta

Ngày 29 tháng 1, Meta đã công bố phiên bản lớn nhất và mạnh nhất trong gia đình mô hình Code Llama – Code Llama 70B. Ba phiên bản này đều có thể được sử dụng miễn phí cho mục đích nghiên cứu và thương mại:

• CodeLlama – 70B: Mô hình mã hóa cơ bản.
• CodeLlama – 70B – Python: Phiên bản chuyên biệt cho mã hóa Python.
• CodeLlama – 70B – Instruct: Phiên bản được tinh chỉnh để hiểu các hướng dẫn ngôn ngữ tự nhiên.

Để đánh giá hiệu suất của Code Llama, Meta đã thực hiện các bài kiểm tra trên hai nền tảng mã hóa phổ biến: HumanEval và Mostly Basic Python Programming (MBPP). Kết quả cho thấy Code Llama vượt trội hơn so với các mô hình mã hóa khác như Llama và thậm chí còn gần đạt được mức độ của GPT-4.

Trong một bài đăng trên Facebook, Mark Zuckerberg chia sẻ rằng việc viết và chỉnh sửa mã đã trở thành một trong những ứng dụng quan trọng nhất của mô hình trí tuệ nhân tạo hiện nay. Ông cũng bày tỏ sự tự hào về sự tiến bộ này và mong đợi những cải tiến trong tương lai.

Code Llama là phiên bản mã hóa của mô hình Llama 2, được huấn luyện trên tập dữ liệu mã hóa lớn hơn. Nó có khả năng tạo ra mã dựa trên các gợi ý ngôn ngữ và mã, cũng như hỗ trợ việc hoàn thiện và gỡ lỗi mã.

Mô hình này hỗ trợ nhiều ngôn ngữ lập trình phổ biến như Python, C++, Java, PHP, TypeScript, C#, và Bash. Meta sẽ phát hành bốn phiên bản của Code Llama với các tham số từ 7 tỷ đến 70 tỷ.

Các mô hình này được huấn luyện trên 500 tỷ token mã và dữ liệu liên quan, trong khi mô hình 70B được huấn luyện trên 1 nghìn tỷ token. Các mô hình 7B và 13B còn được huấn luyện thêm với kỹ thuật “fill-in-the-middle” (FIM), giúp chúng có thể chèn mã mới vào mã hiện có.

Các mô hình này có thể tạo ra mã lên đến 100.000 token ngữ cảnh một cách ổn định. Tất cả các mô hình đều được huấn luyện trên chuỗi 16.000 token và hoạt động tốt nhất khi nhận đầu vào lên đến 100.000 token.

Bên cạnh đó, Meta cũng đã tinh chỉnh hai phiên bản bổ sung của Code Llama: Code Llama – Python và Code Llama – Instruct. Phiên bản Python được huấn luyện chuyên biệt cho ngôn ngữ Python, trong khi phiên bản Instruct được tinh chỉnh để hiểu và đáp ứng các yêu cầu ngôn ngữ tự nhiên.

Ngoài ra, một số nhà phát triển đã đưa ra phản hồi về việc sử dụng Code Llama 70B. Mặc dù có những lời khen ngợi, một số người cũng chỉ ra rằng mô hình này đòi hỏi nguồn lực phần cứng lớn và có thể không phù hợp với tất cả mọi người.

Việc tạo ra mã thông qua AI vẫn còn gây tranh cãi. Mặc dù có thể tăng tốc độ phát triển, nhưng chất lượng mã vẫn là một vấn đề đáng lo ngại. Nhiều nhà phát triển đã chia sẻ trải nghiệm của họ về việc sử dụng các công cụ như ChatGPT và Copilot, cho thấy cần phải kiểm tra và điều chỉnh nhiều.

Đối với những người đang tìm kiếm mô hình mã hóa hàng đầu hiện tại, DeepSeek-Coder của Đại học Bắc Kinh là một lựa chọn đáng chú ý. Mô hình này đã đạt được kết quả tốt trong nhiều bài kiểm tra và vượt qua các mô hình khác.

Tóm lại, mặc dù Code Llama 70B đã tạo ra sự ấn tượng lớn, nhưng việc sử dụng nó vẫn cần cân nhắc kỹ lưỡng về mặt tài nguyên và chất lượng mã.

Từ khóa

• Code Llama
• Trí tuệ nhân tạo
• Mã hóa
• Mô hình AI
• Phát triển phần mềm