Vào đêm ngày 23 tháng 7, có thông tin cho rằng mô hình AI mới của Meta, Llama 3.1 405B, đã bị rò rỉ trên trang 4chan và đã vượt qua hầu hết các bài kiểm tra chuẩn so với GPT-4o. Theo người báo cáo, Meta có thể sẽ chính thức công bố mô hình Llama 3 series lớn nhất vào ngày mai.
Tuy nhiên, liên kết đến mô hình Llama 3.1 đã bị xóa khỏi Github, nhưng theo các người dùng mạng xã hội đã lưu lại, file này có kích thước khoảng 763.84GB. Có nguồn tin cho rằng trang Hugging Face đã tiết lộ thông tin này sớm hơn, nhưng hiện tại kho dữ liệu đã bị xóa. “Có vẻ như ai đó ở HF đã quên không chuyển kho dữ liệu này thành riêng tư và Google đã lập chỉ mục cho nó,” một người dùng chia sẻ.
Có người suy đoán rằng rò rỉ có thể xuất phát từ nhà cung cấp dịch vụ thứ ba đã được cấp quyền truy cập trước để chuẩn bị cho việc ra mắt. Nhiều người đồng ý với độ tin cậy của mô hình bị rò rỉ và cho rằng nó có thể đã rò rỉ từ GitHub của Microsoft. “Đã có một thời gian ngắn nó xuất hiện trên GitHub, sau đó họ đã rút nó xuống, nhưng tôi đã nhìn thấy một số mô hình tùy chỉnh. Dường như có người đã kịp phát hiện,” một người dùng chia sẻ.
Trong bảng đánh giá mà người báo cáo cung cấp, Llama 3.1 đã được cải tiến dựa trên phiên bản 3.0, nhưng ngay cả mô hình 70B cũng đã vượt qua GPT-4o trong một số lĩnh vực.
Nhiều người ủng hộ cho rằng nếu dữ liệu đánh giá này là chính xác, thì từ tuần này, mô hình AI hàng đầu của Meta sẽ trở nên miễn phí và mở cho tất cả mọi người sử dụng. Điều thú vị là chính phủ, tổ chức và công ty ở mỗi quốc gia trên thế giới đều có thể tiếp cận cùng một khả năng trí tuệ nhân tạo này.
Mặc dù Llama 3.1 miễn phí và mở, nhưng chi phí sử dụng nó có vẻ không thấp. Do kích thước lớn của mô hình, yêu cầu về GPU cao, cần một số phần cứng mạnh mẽ để chạy nó, điều này làm giảm tính kinh tế so với GPT-4o mini.
Có người cho rằng “GPU thông thường chắc chắn không thể chạy được, và việc triển khai như vậy cũng quá tốn kém đối với các nhà phát triển cá nhân (trừ khi bạn có một số H100). Có lẽ nó chủ yếu được dành cho doanh nghiệp và cơ quan chính phủ.” Cũng có người khác nói rằng mặc dù Llama 3.1 miễn phí để sử dụng, nhưng không nhiều người sẽ có máy tính đủ mạnh để chạy mô hình này. Chỉ có một số công ty lớn có khả năng tính toán cao mới có thể sử dụng nó, do đó nó có thể trở thành động lực tăng tốc cho các doanh nghiệp.
Một số người dùng khác cho rằng mô hình 70B của Llama 3.1 có thể gần như miễn phí hơn, vì nó hỗ trợ chạy trên phần cứng tiêu dùng.
Thông tin được công bố trong thẻ mô hình của Llama 3.1, cho biết ngày phát hành là 23 tháng 7 năm 2024. Thẻ mô hình này cũng báo cáo kết quả của mô hình Llama 3.1 trong các bài kiểm tra tự động chuẩn.
Kết quả cho thấy, 405B dường như rất ấn tượng, đạt mức tốt nhất trong một số bài kiểm tra chuẩn, ngang ngửa với GPT-4o và Sonnet 3.5. Trong khi đó, 70B lại có sự thụt lùi kỳ lạ trong bài kiểm tra HumanEval (một bộ dữ liệu đánh giá mã do OpenAI biên soạn).
Ngoài ra, mô hình Llama 3.1 cũng thể hiện sự cải thiện đáng kể trong khả năng giải quyết vấn đề số học. Một người dùng cho biết họ đã trải nghiệm mô hình 405B và nó dường như có thể giải quyết vấn đề 9.9 > 9.11.
Thẻ mô hình cũng tiết lộ nhiều chi tiết kỹ thuật của Llama 3.1. Được biết, Llama 3.1 là một mô hình ngôn ngữ tự hồi quy sử dụng kiến trúc transformer tối ưu hóa. Phiên bản được điều chỉnh sử dụng giám sát tinh chỉnh (SFT) và học tăng cường với phản hồi từ con người (RLHF), nhằm đáp ứng các sở thích về hữu ích và an toàn của con người.
Llama 3.1 hỗ trợ nhiều ngôn ngữ như tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái Lan, nhưng cũng đã được đào tạo trên tập hợp ngôn ngữ rộng hơn 8 ngôn ngữ hỗ trợ. Điều này nghĩa là các nhà phát triển có thể tinh chỉnh mô hình Llama 3.1 cho các ngôn ngữ khác ngoài 8 ngôn ngữ hỗ trợ, miễn là họ tuân thủ Giấy phép Cộng đồng và Chính sách Sử dụng Tolerable của Llama 3.1, và đảm bảo sử dụng nó một cách an toàn và có trách nhiệm.
Llama 3.1 được thiết kế để sử dụng trong nhiều ngôn ngữ cho mục đích thương mại và nghiên cứu. Mô hình văn bản thuần túy tối ưu hóa cho hướng dẫn phù hợp cho các cuộc trò chuyện tương tự trợ lý, trong khi mô hình tiền huấn luyện có thể áp dụng cho nhiều nhiệm vụ sinh ngôn ngữ tự nhiên. Bộ sưu tập mô hình Llama 3.1 còn hỗ trợ việc sử dụng đầu ra của mô hình để cải thiện các mô hình khác, bao gồm việc tạo dữ liệu tổng hợp và chưng cất.
Về dữ liệu huấn luyện, Llama 3.1 đã được tiền huấn luyện trên khoảng 15 nghìn tỷ token từ nguồn công khai, và dữ liệu tinh chỉnh bao gồm các tập dữ liệu hướng dẫn công khai và hơn 25 triệu ví dụ được tạo ra một cách tổng hợp. Trong đó, dữ liệu tiền huấn luyện được cắt ngang vào tháng 12 năm 2023.
Llama 3.1 đã được tiền huấn luyện bằng thư viện huấn luyện tùy chỉnh, cụm GPU tùy chỉnh của Meta và cơ sở hạ tầng sản xuất, đồng thời đã được tinh chỉnh, chú thích và đánh giá trên cơ sở hạ tầng sản xuất. Được biết, nó đã sử dụng tổng cộng 39.3 triệu giờ GPU trên loại phần cứng H100-80GB (TDP 700W). Đồng thời, lượng khí thải CO2 ước tính trong quá trình huấn luyện của Llama 3.1 dựa trên chỉ số địa phương là 11390 tấn CO2 tương đương.
Tin tức về việc mở cửa miễn phí của Llama 3.1 đã khiến nhiều người hâm mộ AI lớn vui mừng, nhưng cũng gây ra những lo ngại từ một số người khác. “Chúng ta đang đứng trước một sự thay đổi lớn trong mô hình, việc tiếp cận miễn phí của mô hình AI mạnh mẽ như Llama 3.1 mang lại tiềm năng lớn và rủi ro chưa từng có. Việc dân chủ hóa các mô hình AI mạnh mẽ này sẽ tái cấu trúc xã hội, kinh tế và cấu trúc quản trị, và tương lai vẫn còn bỏ ngỏ.”
Trước đó, do các quy định của cơ quan quản lý và các luật pháp, Meta đã hoãn việc phát hành chuỗi mô hình 405B.
Trong thẻ mô hình của Llama 3.1, Meta cũng đề cập đến vị thế và khuyến nghị về việc sử dụng an toàn, “Các mô hình ngôn ngữ lớn, bao gồm cả Llama 3.1, không được thiết kế để triển khai độc lập, mà nên được triển khai như một phần của hệ thống AI toàn diện và cung cấp các rào cản an toàn bổ sung khi cần thiết. Các nhà phát triển khi xây dựng hệ thống đại diện nên triển khai các biện pháp bảo vệ hệ thống. Các biện pháp bảo mật là chìa khóa để đạt được đúng sự hữu ích và an toàn, đồng thời giảm thiểu các rủi ro an ninh và bảo mật nội tại của hệ thống cũng như bất kỳ tích hợp nào của mô hình hoặc hệ thống với các công cụ bên ngoài.”
Để đáp ứng nhu cầu này, phiên bản Llama 3.1 đã giới thiệu các tính năng mới, bao gồm cửa sổ ngữ cảnh dài hơn, nhập và xuất đa ngôn ngữ, cũng như khả năng tích hợp với các công cụ bên thứ ba. Ngoài các thực hành tốt nhất thông thường áp dụng cho tất cả các trường hợp sử dụng AI tạo ra, việc xây dựng với các tính năng mới này cũng cần xem xét cụ thể:
- Sử dụng công cụ: Như trong phát triển phần mềm tiêu chuẩn, các nhà phát triển chịu trách nhiệm tích hợp mô hình AI với công cụ và dịch vụ họ chọn. Họ nên xác định rõ chiến lược cho trường hợp sử dụng của họ và đánh giá độ hoàn thiện của các dịch vụ bên thứ ba mà họ sử dụng, để hiểu rõ các hạn chế về an ninh và bảo mật khi sử dụng tính năng này.
- Ngôn ngữ đa dạng: Llama 3.1 hỗ trợ 7 ngôn ngữ khác ngoài tiếng Anh, mặc dù nó có thể tạo ra văn bản bằng các ngôn ngữ khác, nhưng có thể không đáp ứng được các tiêu chí về an toàn và hiệu suất hữu ích.
“Llama 3.1 là một công nghệ mới, giống như bất kỳ công nghệ mới nào, nó cũng có rủi ro khi sử dụng. Các thử nghiệm cho đến nay chưa bao gồm, và cũng không thể bao gồm tất cả các tình huống. Do đó, như với tất cả các mô hình ngôn ngữ lớn, đầu ra tiềm năng của Llama 3.1 không thể được dự đoán trước, và mô hình này có thể đưa ra phản hồi không chính xác, thiên lệch hoặc gây khó chịu đối với người dùng trong một số trường hợp. Do đó, trước khi triển khai bất kỳ ứng dụng nào sử dụng mô hình Llama 3.1, các nhà phát triển nên thực hiện các thử nghiệm an toàn và điều chỉnh dựa trên ứng dụng cụ thể của mô hình,” Meta viết trong thẻ mô hình.
