Thời đại mô hình nhỏ đã đến? Microsoft công bố mô hình AI với tham số nhỏ nhất, hiệu suất gần sát GPT-3.5.

Microsoft đã công bố phiên bản tiếp theo của mô hình AI nhẹ nhàng Phi-3 Mini, đây là phiên bản đầu tiên trong ba mô hình nhỏ mà công ty dự định phát hành. Phi-3 Mini có kích thước chỉ 3,8 tỷ tham số và được đào tạo trên một bộ dữ liệu nhỏ hơn so với các mô hình ngôn ngữ lớn như GPT-4. Hiện tại, nó đã có sẵn trên Azure, Hugging Face và Ollama. Ngoài ra, Microsoft cũng đang lên kế hoạch phát hành các phiên bản nhỏ hơn là Phi-3 Small (7 tỷ tham số) và Phi-3 Medium (14 tỷ tham số).

Eric Boyd, Phó Chủ tịch cấp cao của Microsoft Azure AI Platform, cho biết rằng Phi-3 Mini có hiệu suất tương đương với các mô hình lớn như GPT-3.5 nhưng kích thước nhỏ gọn hơn. So với các mô hình AI lớn, các mô hình AI nhỏ thường có chi phí vận hành thấp hơn và hoạt động tốt hơn trên thiết bị cá nhân như điện thoại di động và máy tính xách tay.

Microsoft đã công bố Phi-2 vào tháng 12 năm ngoái, với hiệu suất không kém cạnh so với các mô hình lớn hơn như Llama 2. Phi-3 được cải tiến về hiệu suất so với phiên bản trước đó, với tốc độ phản hồi gần bằng với mô hình lớn gấp 10 lần.

Microsoft cũng đã phát triển mô hình Orca-Math chuyên biệt để giải quyết các vấn đề toán học. Các đối thủ cạnh tranh của Microsoft cũng đang nghiên cứu và phát triển các mô hình AI nhỏ hơn nhằm phục vụ các tác vụ đơn giản hơn như tóm tắt tài liệu hoặc hỗ trợ lập trình. Ví dụ, Google đã phát hành Gemma 2B và 7B, phù hợp cho các chatbot đơn giản và các công việc liên quan đến ngôn ngữ. Anthropic đã phát triển Claude 3 Haiku, có khả năng đọc và tóm tắt các bài nghiên cứu khoa học phức tạp, trong khi Meta mới đây đã ra mắt Llama 3 8B cho các ứng dụng chatbot và hỗ trợ lập trình.

Boyd nói rằng các nhà phát triển đã đào tạo Phi-3 thông qua một chương trình học tập lấy cảm hứng từ cách trẻ em học từ các câu chuyện đêm, sách có từ vựng đơn giản và cấu trúc câu phức tạp hơn. “Chúng tôi đã liệt kê danh sách 3000 từ và yêu cầu các mô hình ngôn ngữ lớn tạo ra ‘sách dành cho trẻ em’ để dạy cho Phi,” Boyd chia sẻ.

Phi-3 chỉ là sự phát triển tiếp theo từ các phiên bản trước của nó. Phi-1 tập trung vào lập trình, Phi-2 bắt đầu học cách suy luận, trong khi Phi-3 trở nên giỏi hơn trong cả hai lĩnh vực này. Mặc dù Phi-3 có thể hiểu một số kiến thức phổ thông, nhưng nó vẫn chưa thể vượt qua các mô hình lớn như GPT-4 hoặc các mô hình ngôn ngữ lớn khác trong nhiều ứng dụng.

Boyd nhấn mạnh rằng các mô hình AI nhỏ như Phi-3 thường phù hợp hơn với các ứng dụng tùy chỉnh của nhiều công ty, vì dữ liệu nội bộ của họ thường không lớn và sử dụng ít tài nguyên hơn.

### Từ khóa:
– AI
– Mô hình AI nhỏ
– Microsoft
– Phi-3
– GPT