Các mô hình đầu cuối đang phát động cuộc chiến bứt phá! VC đang điên cuồng cạnh tranh, một công ty khởi nghiệp khác đã “chết” ra mắt.

Mô hình lớn mới trong AI: Đường lối riêng của RockAI

Tháng 6, ba vòng tài trợ lớn đã mở ra một chương mới trong cuộc chiến mô hình lớn. Trước đó, Cohere từ Canada đã thu hút được 450 triệu đô la tài trợ với định giá 5 tỷ đô la, được hỗ trợ bởi NVIDIA và Cisco. Ngay sau đó, Mistral AI từ Pháp đã nhận được 600 triệu euro, do General Catalyst dẫn đầu. Tiếp theo, SakanaAI cũng thông báo sắp nhận được hơn 100 triệu đô la tài trợ, định giá đạt khoảng 1,15 tỷ đô la.

Nước nóng mùa xuân, vịt là loài đầu tiên biết được điều này. Đằng sau sự nổi tiếng của các công ty khởi nghiệp AI quốc tế, một xu hướng chung đã xuất hiện: để thách thức OpenAI, họ đang tìm cách “đột phá” bằng cách sử dụng các mô hình có ít tham số và chi phí thấp hơn.

Cohere đã mở nguồn mô hình lớn thế hệ mới Aya 23, với hai loại tham số là 8 tỷ và 350 tỷ, hỗ trợ 23 ngôn ngữ khác nhau. Mistral AI, với mô hình Mistral 7B có 7 tỷ tham số, đã đánh bại mô hình ngôn ngữ lớn nhất mã nguồn mở Llama 2, với hàng trăm tỷ tham số. Một mô hình khác của Mistral, Mistral Large, có chi phí phát triển dưới 20 triệu euro (khoảng 22 triệu đô la), so với GPT-4, chi phí này giảm đi hơn 4/5.

Sakana AI, với công nghệ “kết hợp mô hình” tự động hóa thuật toán “tiến hóa”, tuyên bố rằng nó cần ít tài nguyên tính toán hơn và có thể rút ngắn chu kỳ học dữ liệu lên đến hàng trăm lần.

Trong cuộc đua này, RockAI của ông Liu Fanping cũng đã phát triển con đường tiến hóa của riêng mình. Từ khi thành lập, RockAI không bao giờ là “tù nhân” của kiến trúc Transformer, ngay cả trong thời kỳ “chiến tranh mô hình” năm ngoái, Liu Fanping đã nhận ra rằng kiến trúc Transformer yêu cầu lượng dữ liệu huấn luyện lớn, mặc dù thể hiện trí tuệ nhưng vẫn gặp vấn đề ảo tưởng như “nói chuyện một cách nghiêm túc mà không đúng”.

RockAI đã phát triển mô hình Yan 1.0, không sử dụng cơ chế Attention, giảm độ phức tạp tính toán xuống mức tuyến tính, giảm đáng kể nhu cầu về tài nguyên tính toán, cho phép mô hình có 10 tỷ tham số đạt hiệu suất tương đương với mô hình 100 tỷ tham số.

Mô hình Yan 1.0 cũng đã chứng minh khả năng chạy trên máy tính cá nhân mà không bị mất dữ liệu, điều này giúp nó có thể hoạt động trên các thiết bị tiêu dùng phổ biến mà không cần nén dữ liệu.

Mô hình Yan 2.0 sẽ được giới thiệu vào cuối năm hoặc đầu năm tới, với khả năng học hỏi đồng bộ và cập nhật liên tục. Điều này cho phép mô hình có thể thích nghi và học hỏi từ môi trường xung quanh một cách tự động.

RockAI đang hướng tới mục tiêu tạo ra một hệ sinh thái thông minh đa dạng, có khả năng tương tác và thích ứng với người dùng một cách cá nhân hóa.

**Từ khóa:**
– Mô hình lớn
– AI
– RockAI
– Yan
– Đồng bộ học