Tông nghĩa linh mã SWE-GPT: Từ mô hình mã tĩnh đến suy luận dài hạn trong quá trình phát triển phần mềm.

Trong thế giới của trí tuệ nhân tạo, việc cải tiến phần mềm tự động đã trở thành một trọng tâm quan trọng. Bài viết này tập trung vào nghiên cứu mới nhất về mô hình ngôn ngữ lớn có tên là Lingma SWE-GPT, được thiết kế để giải quyết các vấn đề thực tế trong việc cải tiến phần mềm.

Lingma SWE-GPT, bao gồm hai phiên bản Lingma SWE-GPT 7B và Lingma SWE-GPT 72B, đã được phát triển dựa trên việc sử dụng dữ liệu từ quá trình phát triển phần mềm thực tế. Mục tiêu chính của dự án này là cung cấp một mô hình mở có khả năng tiếp cận và giải quyết các vấn đề phức tạp trong lĩnh vực phần mềm, đồng thời giảm sự phụ thuộc vào các mô hình đóng nguồn.

Thử nghiệm trên benchmark SWE-bench Verified cho thấy, Lingma SWE-GPT 72B đã giải quyết thành công 30.20% các vấn đề, gần tương đương với mô hình đóng nguồn GPT-4 (31.80%). Trong khi đó, Lingma SWE-GPT 7B cũng đã đạt được thành tích đáng kể với 18.20% vấn đề được giải quyết, vượt qua nhiều mô hình khác như Qwen2.5-instruct 70B và Llama-3.1-instruct 405B.

Quá trình huấn luyện của Lingma SWE-GPT bao gồm ba giai đoạn chính: thu thập dữ liệu, tổng hợp dữ liệu và huấn luyện mô hình. Qua mỗi giai đoạn, mô hình được tối ưu hóa để tăng cường khả năng hiểu và giải quyết các vấn đề phức tạp trong phần mềm.

Một điểm quan trọng khác là khả năng định vị lỗi (fault localization) của Lingma SWE-GPT. Kết quả thử nghiệm cho thấy, mô hình này đã thể hiện khả năng định vị lỗi tốt hơn so với nhiều mô hình khác, đặc biệt ở mức độ chi tiết như khối mã (code block), hàm (function) và tệp tin (file).

Cuối cùng, dự án Lingma SWE-GPT không chỉ dừng lại ở việc giải quyết các vấn đề phần mềm hiện tại mà còn hướng đến việc mở rộng khả năng hỗ trợ nhiều ngôn ngữ lập trình khác nhau và hỗ trợ thêm nhiều tác vụ phần mềm khác, nhằm nâng cao hiệu suất và chất lượng phần mềm.

Với những bước tiến đáng kể trong việc cải tiến phần mềm tự động, Lingma SWE-GPT hứa hẹn sẽ mang lại nhiều giá trị cho cộng đồng phát triển phần mềm và thúc đẩy sự phát triển của AI trong lĩnh vực này.

### Từ khóa:
– Trí tuệ nhân tạo
– Phần mềm
– Cải tiến phần mềm
– Mô hình ngôn ngữ lớn
– Benchmark