Devin ra mắt sau nửa tháng, lĩnh vực mã nguồn mở tấn công các tác nhân mã hóa | Tin tức tuần về mô hình lớn.

Thế giới Trí tuệ Nhân tạo: Bước tiến mới trong tháng này

Bắt đầu từ tháng này, thế giới trí tuệ nhân tạo (AI) đang chứng kiến sự phát triển mạnh mẽ và nhanh chóng. Từ việc ra mắt của các dự án như Devin, OpenDevin, Devika, Autodev, và mới đây nhất là SWE-agent, lĩnh vực mã nguồn đã trở thành một trong những trọng tâm chính của AI. Các nhà nghiên cứu và chuyên gia đang tập trung vào việc cải thiện khả năng của các trợ lý mã nguồn, nhằm đạt được sự tự động hóa cao hơn trong quá trình phát triển phần mềm.

Các đột phá mới trong tháng qua

Vào ngày 5 tháng 4, nhóm nghiên cứu từ MIT và Princeton đã giới thiệu JetMoE-8B, một mô hình ngôn ngữ lớn có khả năng suy luận với chỉ 2,2 tỷ tham số được kích hoạt. Điều này giúp giảm chi phí huấn luyện xuống dưới 100.000 đô la, đồng thời JetMoE-8B còn thể hiện hiệu suất vượt trội so với Meta LLaMA2-7B, mặc dù LLaMA2-7B có nguồn lực huấn luyện lớn hơn nhiều.

Ngày 1 tháng 4, công ty Lanzhou Technology đã mở nguồn cho mô hình lớn Mahjong 3-13B. Mô hình này cho thấy hiệu suất xuất sắc trong việc xử lý ngôn ngữ, toán học và lập trình, và được hỗ trợ cho cả mục đích nghiên cứu học thuật và sử dụng thương mại miễn phí.

Ngày 2 tháng 4, đội ngũ Qwen của Alibaba Cloud đã ra mắt Qwen1.5-32B và Qwen1.5-32B-Chat. So với mô hình 72 tỷ tham số, mô hình 32 tỷ tham số này giảm đáng kể lượng bộ nhớ sử dụng và tăng tốc đáng kể tốc độ chạy. Nhóm nghiên cứu hy vọng rằng việc mở nguồn này sẽ cung cấp lựa chọn tốt hơn cho các doanh nghiệp và nhà phát triển trong việc triển khai ứng dụng AI.

Ngày 3 tháng 4, XVERSE-MoE-A4.2B của YuaXian đã được mở nguồn. Mô hình này sử dụng cấu trúc MoE, với 4,2 tỷ tham số được kích hoạt. So với phiên bản XVERSE-13B-2, mô hình này giảm tới 70% lượng tính toán và 50% thời gian huấn luyện.

Phát triển mới trong lĩnh vực AI

Nhóm nghiên cứu từ Đại học Stanford và Đại học McMaster đã phát triển mô hình AI SyntheMol để thiết kế phân tử kháng sinh. Mô hình này sử dụng kỹ thuật tìm kiếm cây Monte Carlo và dữ liệu từ thư viện phân tử lớn để sàng lọc các hợp chất tiềm năng, nâng cao hiệu quả và tỷ lệ thành công trong việc phát hiện thuốc mới.

OpenAI đã giới thiệu công nghệ tổng hợp âm thanh Voice Engine, cho phép tạo ra các bản ghi âm mới dựa trên mẫu âm thanh ngắn khoảng 15 giây.

PixVerse đã giới thiệu tính năng mới “Vai trò – Video”, cho phép người dùng tải lên hình ảnh và tạo ra video động duy trì tính nhất quán về vai trò. Mặc dù đôi khi kết quả có thể khác biệt so với nguyên mẫu, nhưng điều này có thể được cải thiện bằng cách điều chỉnh thông điệp.

Trường Đại học Liên hợp quốc ở Thâm Quyến đang sử dụng mô hình y tế lớn HuaTuo GPT để cung cấp dịch vụ hướng dẫn thông minh. Trong tương lai, HuaTuo GPT sẽ được áp dụng vào các lĩnh vực như khám bệnh trước, tư vấn chuyên ngành, theo dõi sau khi điều trị, và quản lý hồ sơ bệnh án.

Kunlun Wandi đã mở đăng ký thử nghiệm cho mô hình AI âm nhạc SkyMusic và dự kiến sẽ mở rộng ra toàn xã hội vào ngày 17 tháng 4.

Sự phát triển trong lĩnh vực robot và AI

Nhóm nghiên cứu từ Đại học Princeton đã ra mắt hệ thống AI SWE-agent, có khả năng giải quyết các vấn đề độc lập trên kho lưu trữ GitHub. Dựa trên mô hình lớn như GPT-4, SWE-agent đã đạt được độ chính xác tương đương với AI Devin đóng gói, thông qua giao diện máy tính thông minh (ACI).

AliCloud đang tích cực thúc đẩy hệ thống thông minh Ailuoma để hỗ trợ lập trình viên trong việc viết, đọc, kiểm tra lỗi và tối ưu hóa mã. Theo dự đoán, 20% mã trong tương lai sẽ được viết bởi Ailuoma, giúp lập trình viên tập trung vào việc thiết kế hệ thống và phát triển các chức năng quan trọng.

UBTech đang nghiên cứu kết hợp robot hình người Walker S với mô hình lớn BERT để tăng cường khả năng thông minh vật lý của Walker S. Thông qua việc tích hợp BERT, Walker S không chỉ duy trì các chức năng cảm biến đa phương thức và kiểm soát chuyển động mà còn thêm khả năng nhận biết ý định và lập kế hoạch chi tiết hơn.

Tổng kết

Tháng qua đã chứng kiến sự bùng nổ của nhiều mô hình AI và hệ thống mới, từ JetMoE-8B đến SWE-agent, mỗi mô hình đều mang lại những đột phá quan trọng trong lĩnh vực AI. Sự phát triển này không chỉ mở ra cơ hội mới cho ngành công nghiệp AI mà còn thúc đẩy sự tiến bộ trong nhiều lĩnh vực khác như y tế, âm nhạc, và robot.