Sự kết hợp giữa AI và IoT: Tương lai của công nghệ kết nối.

Yi-Coder: Một Công Cụ Mới trong Lĩnh Vực Sinh Trí Tuệ Nhân Tạo

Trong lĩnh vực sinh trí tuệ nhân tạo (AI), công cụ sinh và chỉnh sửa mã nguồn luôn là tâm điểm chú ý của các nhà phát triển. Hôm nay, chúng tôi muốn giới thiệu về Yi-Coder, một mô hình mới được phát hành bởi công ty Zero One Five.

Yi-Coder thuộc họ mô hình Yi, được biết đến với khả năng sinh mã xuất sắc. Đây là kết quả tiếp theo sau sự ra mắt của Yi-1.5 vào tháng 5 năm 2023, đánh dấu thêm một bước tiến quan trọng trong hướng đi mở cửa của Zero One Five.

Mô hình Yi-Coder được thiết kế đặc biệt cho công việc lập trình, với hai phiên bản có kích thước khác nhau: 1.5 tỷ tham số và 9 tỷ tham số. Trong đó, Yi-Coder-9B đã chứng minh khả năng vượt trội so với nhiều mô hình khác có kích thước tương đương hoặc lớn hơn, như CodeQwen1.5 7B và CodeGeex4 9B. Thậm chí, nó còn có thể sánh ngang với DeepSeek-Coder 33B.

Mặc dù kích thước nhỏ gọn, Yi-Coder vẫn thể hiện hiệu suất xuất sắc trong nhiều tác vụ như sinh mã, hiểu mã, điều chỉnh mã và hoàn thiện mã. Kích thước nhỏ giúp dễ dàng sử dụng và thích hợp cho việc triển khai trên các thiết bị đầu cuối.

Một trong những điểm mạnh của Yi-Coder là khả năng xử lý chuỗi dài lên đến 128K token, giúp nó nắm bắt mối quan hệ phụ thuộc dài hạn, phù hợp cho việc hiểu và sinh mã dự án phức tạp.

Ngoài ra, Yi-Coder hỗ trợ 52 ngôn ngữ lập trình chính, và thể hiện hiệu suất tuyệt vời trong việc sinh mã và hoàn thiện mã từ nhiều tệp khác nhau.

Một nền tảng đánh giá tên là LiveCodeBench được tạo ra để cung cấp một môi trường đánh giá toàn diện và công bằng cho các mô hình ngôn ngữ lớn. Nền tảng này thu thập các câu hỏi mới từ các nền tảng cạnh tranh như LeetCode, AtCoder và CodeForces để tạo thành một cơ sở dữ liệu đánh giá động và toàn diện.

Để đảm bảo không có ô nhiễm dữ liệu (dữ liệu huấn luyện của Yi-Coder dừng lại vào cuối năm 2023), chúng tôi đã chọn các câu hỏi từ tháng 1 đến tháng 9 năm 2024 để kiểm tra. Kết quả cho thấy Yi-Coder-9B-Chat đạt tỉ lệ thông qua là 23.4%, cao nhất trong các mô hình dưới 10 tỷ tham số. Kết quả này vượt qua cả DeepSeek-Coder-33B-Instruct (22.3%), CodeGeex4-All-9B (17.8%) và CodeLLama-34B-Instruct (13.3%).

Bên cạnh việc đánh giá ở cấp độ cạnh tranh, chúng tôi cũng đã sử dụng các bài kiểm tra chuẩn phổ biến khác như Zero-shot HumanEval, 3-shot MBPP và CRUXEval-O để đánh giá khả năng cơ bản về sinh mã và suy luận của mô hình.

Kết quả cho thấy Yi-Coder-9B-Chat đạt tỉ lệ thông qua 85.4% trong HumanEval và 73.8% trong MBPP, vượt trội hơn so với các mô hình sinh mã khác. Ngoài ra, Yi-Coder 9B cũng đạt được độ chính xác 50% trở lên trong CRUXEval-O, một thành tích chưa từng có trong số các mô hình sinh mã mở.

Trong lĩnh vực chỉnh sửa mã, Yi-Coder-9B-Chat cũng thể hiện kết quả xuất sắc, vượt qua cả DeepSeek-Coder-33B-Instruct và CodeQwen1.5-7B-Chat trong cả hai phân khúc Primary và Plus.

Về khả năng hoàn thiện mã, Yi-Coder cũng thể hiện hiệu suất đáng kinh ngạc. Khác với việc sinh mã, hoàn thiện mã yêu cầu mô hình phải truy cập và hiểu các tài nguyên từ nhiều tệp khác nhau, với nhiều mối liên kết giữa các tệp.

Chúng tôi đã tạo ra một nhiệm vụ đánh giá tên là “Needle in the code”, nhằm kiểm tra khả năng của mô hình trong việc hiểu và trích xuất thông tin từ văn bản dài. Kết quả cho thấy Yi-Coder-9B hoàn thành nhiệm vụ này một cách xuất sắc.

Yi-Coder cũng đã chứng minh khả năng giải quyết vấn đề toán học nhờ vào khả năng hỗ trợ mã hóa. Mô hình này đã đạt được độ chính xác trung bình 70.3% trên bảy bộ dữ liệu toán học, vượt qua cả DeepSeek-Coder 33B với 65.8%.

Nếu bạn muốn thử nghiệm Yi-Coder, hãy xem README của Yi-Coder để biết hướng dẫn tải về và sử dụng.

Ngày 18-19 tháng 8 năm 2024, Hội nghị Toàn Cầu về Phát Triển và Ứng Dụng Trí Tuệ Nhân Tạo tại Thượng Hải đã diễn ra thành công, quy tụ hơn 60 chuyên gia hàng đầu trong lĩnh vực mô hình lớn. Hội nghị này đã phân tích toàn diện các vấn đề như cơ chế huấn luyện và suy luận của mô hình lớn, sự hợp nhất đa phương thức, tiến bộ của các đại diện thông minh (agents), chiến lược tạo ra nội dung tăng cường tìm kiếm (RAG) và tối ưu hóa mô hình bên đầu cuối.

Sau sự cho phép của các diễn giả, «AI Frontline» đã tổng hợp và chia sẻ bộ sưu tập PPT độc quyền, không nên bỏ lỡ. Hãy theo dõi «AI Frontline» và phản hồi từ khóa «PPT» để nhận miễn phí bộ sưu tập này.

Từ khóa:

• Yi-Coder
• Trí tuệ nhân tạo
• Lập trình
• Phân tích mã
• Đánh giá mô hình