Meta, Microsoft, Mistral AI, Hugging Face, Tongyi và Đại học Hồng Kông đồng loạt phát triển mô hình mã nguồn mở | Tin tức tuần về mô hình lớn.

Thế giới Mở trong Tuần: Đại Siêu Mô Hình và Sự Thay Đổi Thương Mại

Tuần này, lĩnh vực mã nguồn mở đã đón nhận nhiều cập nhật về công nghệ: Meta đã ra mắt Llama3 và Microsoft giới thiệu WizardLM 2. CodeQwen1.5-7B cũng đã tham gia vào lĩnh vực mã nguồn mở, trong khi Mistral-22b-v0.2 khám phá sự chuyển đổi giữa mô hình dựa trên MOE (Mixture of Experts) và mô hình dày đặc. Mini-Gemini và Idefics2 của Hugging Face cũng không ngừng phát triển trong lĩnh vực mô hình đa phương tiện.

Bên cạnh sự tiến bộ về mặt kỹ thuật, ngành công nghiệp cũng chứng kiến sự kết hợp giữa việc sa thải nhân viên và tài trợ. Các doanh nghiệp nổi bật như Stability AI và Tome đã thông báo kế hoạch cắt giảm nhân sự, trong khi các công ty khác lại thu hút tài chính hàng tỷ đô la. Điều này nhấn mạnh sự cần thiết cho các công ty tìm kiếm các phương án khả thi về chi phí để duy trì dòng tiền ổn định, đồng thời đối mặt với sự cạnh tranh ngày càng tăng.

Điểm Quan Trọng Trong Tuần Này

12/4 – Impression Notes Ra Mắt Đại Siêu Mô Hình Tự Phát Triển

Impression Notes, một nhà cung cấp quản lý tri thức, đã công bố đại siêu mô hình tự phát triển của họ có tên là “Impression Large Language Model”, được đặt tên chính thức và đã hoàn thành quy trình đăng ký theo quy định. Đồng thời, sản phẩm trí tuệ nhân tạo của họ, Impression AI, cũng đã đón nhận nhiều cải tiến mới, hứa hẹn sẽ mang đến dịch vụ quản lý tri thức thông minh hơn.

14/4 – GPT-4 Nhật Bản: Tốc Độ Nhanh Hơn Ba Lần

OpenAI đã công bố trung tâm tại Nhật Bản và ra mắt mô hình GPT-4 tùy chỉnh được tối ưu hóa cho ngôn ngữ Nhật. Mô hình này hoạt động nhanh hơn ba lần so với GPT-4 Turbo, cung cấp hiệu suất cao hơn trong việc dịch và tóm tắt văn bản tiếng Nhật, đồng thời cũng mang lại lợi ích về mặt chi phí.

17/4 – MiniMax Giới Thiệu Mô Hình MOE 6.5

MiniMax đã công bố chuỗi mô hình MOE 6.5 mới, bao gồm 6.5 và 6.5s. Mô hình 6.5 chứa hàng nghìn tỷ tham số và hỗ trợ độ dài ngữ cảnh lên tới 200k token, trong khi 6.5s thì xử lý gần 30.000 từ trong một giây, mang lại hiệu suất vượt trội.

13/4 – xAI Giới Thiệu Mô Hình Đa Phương Tiện Grok-1.5 Vision

xAI đã giới thiệu mô hình đa phương tiện Grok-1.5 Vision, cho phép xử lý dữ liệu hình ảnh và văn bản. Grok-1.5 Vision sẽ sớm mời người dùng hiện tại tham gia thử nghiệm.

15/4 – Mini-Gemini 130 Tỷ Tham Số Trên Hugging Face

Mini-Gemini, một mô hình đa phương tiện được đề xuất bởi nhóm của Giáo sư Jiajia Jia từ Đại học Hồng Kông, đã công bố demo 130 tỷ tham số của mình trên Hugging Face. Trước đó, mã nguồn, mô hình và dữ liệu của Mini-Gemini đã được công khai.

16/4 – Idefics2 Cập Nhật Khả Năng Nhận Diện OCR

Hugging Face đã cập nhật mô hình Idefics2, nâng cao khả năng nhận diện và phản hồi dựa trên hình ảnh và văn bản, đồng thời cải thiện đáng kể khả năng nhận dạng OCR.

13/4 – Mistral-22b-v0.2: Chuyển Đổi Từ MOE Sang Mô Hình Dày Đặc

Mistral AI đã công bố phiên bản v0.2 của Mistral-22b, với dữ liệu huấn luyện gấp tám lần so với phiên bản trước. Mô hình này thể hiện sự cải thiện đáng kể trong khả năng toán học và lập trình, cũng như lưu loát trong cuộc trò chuyện đa vòng.

16/4 – WizardLM 2: Đại Siêu Mô Hình Mới Của Microsoft

Microsoft đã công bố WizardLM 2, một loạt mô hình bao gồm WizardLM-2 8x22B (MOE), WizardLM-2 70B và WizardLM-2 7B. Tuy nhiên, do chưa hoàn thành kiểm tra độc hại, Microsoft đã gỡ bỏ mã nguồn từ GitHub và Hugging Face.

16/4 – CodeQwen1.5-7B: Mô Hình Mã Hóa Mới

Đội ngũ Qwen đã công bố mô hình mã hóa CodeQwen1.5-7B và mô hình đối thoại tương ứng, hỗ trợ 92 ngôn ngữ lập trình và xử lý dữ liệu dài lên tới 64 K.

17/4 – Zamba-7B: Đại Siêu Mô Hình Mở Mới

Zyphra Technologies đã công bố Zamba-7B, một mô hình cơ sở mở với 7 tỷ tham số, nhắm mục tiêu vào việc tải AI vào thiết bị, tuyên bố vượt trội so với LLaMA 1 và LLaMA 2-7B.

17/4 – Thiên Công 3.0: Đại Siêu Mô Hình Mới Của KungKun

KunKun đã công bố Thiên Công 3.0, một mô hình cơ sở với 400 tỷ tham số, là mô hình MOE lớn nhất hiện nay. Thiên Công 3.0 còn giới thiệu các tính năng mới như so sánh biểu đồ, chế độ nghiên cứu, chế độ tăng cường và chỉnh sửa hình ảnh.

18/4 – Llama3: Đại Siêu Mô Hình Mới Của Meta

Meta đã chính thức ra mắt Llama3, bao gồm hai mô hình: Meta-Llama-3-8B và Meta-Llama-3-70B. Mô hình này đã chứng tỏ sự vượt trội trên nhiều tập đánh giá và Meta cam kết sẽ ra mắt thêm nhiều phiên bản trong tương lai.

Kết Luận

Nền tảng mã nguồn mở đang trở thành trung tâm của cuộc cách mạng công nghệ AI, với sự ra mắt của nhiều mô hình mới và cải tiến đáng kể. Các công ty cũng đang phải đối mặt với những thách thức về tài chính và cạnh tranh, đòi hỏi họ tìm kiếm các giải pháp bền vững. Thông qua sự tiến bộ liên tục, AI đang định hình lại tương lai của chúng ta, từ quản lý tri thức đến sáng tạo âm nhạc và video.