Khám phá Ứng dụng của Mô hình lớn nhanh trong Tương tác Video Ngắn

Nói đến cầu nối giao tiếp, từ khi máy tính ra đời, con người đã luôn cố gắng nghiên cứu và thực hành cách để trao cho máy móc khả năng giao tiếp và tương tác giống như con người. Lâu nay, lĩnh vực này đầy thách thức, nhưng với sự xuất hiện và phát triển của công nghệ mô hình lớn, vấn đề này đã có bước đột phá cách mạng.

Sự phát triển của mô hình lớn bắt đầu từ năm 2018. Sau khi Google giới thiệu kiến trúc mô hình Transformer, các nhà nghiên cứu đã đưa ra nhiệm vụ Masked Language Model để huấn luyện mô hình Transformer dựa trên lượng dữ liệu khổng lồ, dẫn đến việc tạo ra mô hình BERT và cải thiện đáng kể hiệu suất trên bảng xếp hạng GLUE về hiểu ngôn ngữ tự nhiên. Tiếp theo, việc huấn luyện chuyển dần sang các mô hình thần kinh siêu quy mô hơn. Năm 2020, OpenAI đã giới thiệu GPT-3 với 175 tỷ tham số, qua đó tăng cường khả năng của mô hình thông qua quy luật mở rộng (Scaling Law). Đến cuối năm 2022, OpenAI tiếp tục giới thiệu ChatGPT, phiên bản được điều chỉnh dựa trên hướng dẫn (SFT) và học tăng cường dựa trên phản hồi từ con người (RLHF), giúp kích hoạt tri thức ngôn ngữ trong mô hình siêu quy mô tiền huấn luyện, tăng cường khả năng thích ứng của mô hình trong nhiều tác vụ và cải thiện đáng kể khả năng thực hiện lệnh và giao tiếp đối thoại của mô hình AI.

Sau khi ChatGPT được ra mắt, các công ty internet trong nước đã nhanh chóng nắm bắt xu hướng và tung ra hàng chục mô hình AI tự phát triển trong năm 2023, đánh dấu giai đoạn mới của cuộc cạnh tranh công nghệ AI. Những mô hình này thể hiện sức mạnh nghiên cứu sâu của các công ty trong lĩnh vực AI và cho thấy rằng công nghệ AI sẽ ngày càng được tích hợp sâu hơn vào cuộc sống hàng ngày của mọi người. Dù là trả lời câu hỏi chung, hiểu đọc, đóng vai, viết mã, giải toán hay suy luận logic, các mô hình lớn đã thể hiện tiềm năng ứng dụng khổng lồ trong nhiều lĩnh vực.

Trước sự đổi mới cách mạng của công nghệ ChatGPT, Kuaishou đã nhanh chóng phản ứng và tích cực đầu tư vào lĩnh vực mô hình lớn, thiết lập chiến lược AI mới. Đầu tiên, về cơ sở hạ tầng AI, Kuaishou đã xây dựng cơ sở hạ tầng huấn luyện và suy luận mô hình với hàng nghìn tỷ tham số, đồng thời tối ưu hóa cấu trúc Infra để nâng cao hiệu suất sử dụng tính toán mô hình (MFU) lên mức hàng đầu trong ngành. Thứ hai, về dữ liệu, dựa trên bối cảnh video ngắn và phát trực tuyến, Kuaishou đã xây dựng cơ sở dữ liệu văn bản và đa phương tiện khổng lồ, bao gồm bách khoa toàn thư, tin tức, sách, bình luận, công thức nấu ăn, bài viết khoa học, diễn đàn hỏi đáp, blog và nhiều loại nội dung khác. Các dữ liệu này đã được làm sạch kỹ lưỡng để đảm bảo chất lượng tokens cần thiết cho việc huấn luyện mô hình ngôn ngữ siêu quy mô. Sau một năm nghiên cứu và phát triển, Kuaishou đã chính thức ra mắt mô hình “KwaiYii” tự phát triển của mình, đạt kết quả hàng đầu trên các bảng xếp hạng như MMLU/C-Eval/GSM-8K/HumanEval và mở ra kỷ nguyên mới của việc áp dụng mô hình lớn trong bối cảnh video ngắn.

Mô hình KwaiYii sử dụng kiến trúc Transformer decoder-only, với ba quy mô tham số là 13B, 66B và 175B, mỗi quy mô bao gồm mô hình tiền huấn luyện (KwaiYii-Base) và mô hình đối thoại (KwaiYii-Chat). Qua quá trình tiền huấn luyện trên 4T+ tokens chất lượng cao và huấn luyện đối thoại trên dữ liệu chỉ lệnh chất lượng cao, mô hình tiền huấn luyện và đối thoại của KwaiYii đã đạt được hiệu suất nổi bật trên các bảng xếp hạng đánh giá uy tín, trong đó mô hình 175B cho thấy hiệu suất gần với GPT-4.

Đặc biệt, KwaiYii còn sở hữu khả năng nhân cách hóa, giúp tạo ra robot đồng hành tình cảm.

Các ứng dụng thực tế của AI XiaoKuai

Công nghệ mô hình lớn đang dẫn dắt làn sóng đổi mới ngành công nghiệp. Vậy làm thế nào để công nghệ mô hình lớn hòa nhập sâu sắc hơn với ngành công nghiệp? Làm thế nào để công nghệ mô hình lớn cung cấp các giải pháp thông minh hơn cho nhiều ngành nghề? Trong các bối cảnh thực tế của ngành tài chính, pháp lý, y tế, giáo dục, chính phủ, v.v., có những kinh nghiệm gì về việc áp dụng mô hình lớn? «AI Trước» đặc biệt đã chọn lọc các bài giảng xuất sắc từ hội nghị AICon toàn cầu về Phát triển và Ứng dụng AI để chia sẻ với bạn. Hãy quan tâm đến «AI Trước», và hãy phản hồi từ khóa «Đổi mới Ngành» để nhận miễn phí các slide bài giảng. Hãy theo dõi «AI Trước»!

Khả năng đồng hành tình cảm của robot nhân cách hóa

Các trường hợp thực tế sử dụng AI XiaoKuai

Công nghệ KwaiYii đã đạt được kết quả ấn tượng trong việc điều chỉnh mô hình đồng hành tình cảm, nhờ vào việc nghiên cứu thực tế của Kuaishou trong lĩnh vực này. Như chúng ta biết, các mô hình đại diện như ChatGPT/GPT-4 gặp phải vấn đề khi áp dụng vào các cảnh quan giải trí tương tác, đó là phong cách cứng nhắc và câu trả lời khô khan, khiến việc tạo ra sự tương tác tốt với người dùng trở nên khó khăn. Để giúp mô hình học cách “nói như con người”, Kuaishou đã khám phá sâu hơn về hướng đối thoại kiểu người, từ thông tin nền tảng khách quan của nhân vật, hình ảnh phong cách hóa của nhân vật, và đặc điểm nhân cách bên trong, từ ngoài vào trong xây dựng hàng nghìn thẻ hình nhân vật và dữ liệu huấn luyện, nhằm điều chỉnh mô hình đồng hành tình cảm KwaiYii. Kết quả là, mô hình này đã thể hiện rõ nét khả năng đối thoại kiểu người, vượt trội so với các sản phẩm tương tự trong lĩnh vực đồng hành tình cảm như Baichuan-NPC, MiniMax, và Tongyi Xingchen.

Tóm lại, công nghệ mô hình lớn đang tạo ra làn sóng đổi mới trong ngành công nghiệp. Các mô hình lớn không chỉ giúp tạo ra trải nghiệm giao tiếp và tương tác mới mẻ mà còn mở ra cánh cửa cho việc ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau. Đừng bỏ lỡ cơ hội khám phá và tận dụng sức mạnh của công nghệ mô hình lớn!

Từ khóa:

• Mô hình lớn
• KwaiYii
• AI XiaoKuai
• Transformer
• ChatGPT