Nhóm của giáo sư Wang Yu từ Tsinghua hướng dẫn: Làm thế nào để triển khai mô hình lớn lên thiết bị nhỏ?

Trí tuệ nhân tạo và các ứng dụng của mô hình lớn trong năm 2024

Năm 2024 đã chứng kiến sự bùng nổ của các ứng dụng được thúc đẩy bởi trí tuệ nhân tạo, như GPT-4o. Những sản phẩm này không chỉ thu hút sự quan tâm của cộng đồng mà còn thu hút một lượng lớn nguồn lực đầu tư vào nghiên cứu thuật toán AI, làm sạch dữ liệu và tăng cường tính toán.

Các ứng dụng nổi bật này đều dựa trên mô hình lớn được huấn luyện từ dữ liệu lớn. Ví dụ, mô hình ngôn ngữ lớn đã tăng cả về lượng dữ liệu huấn luyện lẫn kích thước mô hình. Từ mô hình Transformer với 165 triệu tham số được công bố vào năm 2017, đến mô hình GPT-3 với 175 tỷ tham số được công bố vào năm 2020, và mô hình đằng sau ứng dụng ChatGPT cũng có ít nhất hàng trăm tỷ tham số.

Mức độ tăng trưởng này đã giúp cải thiện khả năng của mô hình, cho phép chúng “nổi lên” với các kỹ năng như tuân theo lệnh và học từ ngữ cảnh, thể hiện khả năng tạo ra nội dung một cách chung chung.

Những tiến bộ này đã đặt ra yêu cầu về tính toán ngày càng cao. Trong bối cảnh này, lĩnh vực học sâu hiệu quả trở nên đặc biệt quan trọng và thu hút sự chú ý rộng rãi.

Làm thế nào để triển khai các mô hình lớn (có nhiều tham số và yêu cầu tính toán cao) lên các thiết bị nhỏ (có hạn chế về tài nguyên, tính toán và lưu trữ), đồng thời duy trì hiệu suất thuật toán là một vấn đề quan trọng đối với nhiều lĩnh vực ứng dụng.

Các thông số kỹ thuật phần cứng quan trọng mà các ứng dụng thực tế cần quan tâm bao gồm độ trễ (Latency), tốc độ xử lý (Throughput), công suất (Power), tiêu thụ năng lượng (Energy) và lưu trữ (Storage). Yêu cầu này phản ánh nhiều khía cạnh khác nhau như trải nghiệm người dùng, hạn chế về tình huống cụ thể và kiểm soát chi phí.

Ví dụ:

• Độ trễ và tốc độ xử lý ảnh hưởng đến tính khả dụng và tính thời gian thực.
• Công suất tối đa (Thermal Design Power, TDP) quyết định mức độ làm mát mà hệ thống cần có.
• Tiêu thụ năng lượng và lưu trữ đều ảnh hưởng trực tiếp đến chi phí hệ thống.

Để tối ưu hóa những thông số này, các nhà nghiên cứu và kỹ sư đã khám phá nhiều con đường khác nhau, trải dài qua nhiều cấp độ thiết kế, bao gồm thiết kế thuật toán, phần mềm và phần cứng.

Ở cấp độ phần cứng, việc thiết kế cấu trúc phần cứng tùy chỉnh dựa trên đặc điểm của thuật toán, có thể bao gồm việc sử dụng các linh kiện mới. Công việc đại diện bao gồm thiết kế cấu trúc phần cứng chuyên dụng dựa trên FPGA và ASIC, cũng như dựa trên các linh kiện tính toán và lưu trữ.

Ở cấp độ phần mềm, các nhà phát triển cần thực hiện các toán tử tính toán hoặc phần mềm hệ thống dựa trên đặc điểm của mô hình học máy và nền tảng phần cứng, và phát triển các công cụ tối ưu hóa biên dịch. Ví dụ, công cụ biên dịch tối ưu có thể tối ưu hóa, chia nhỏ và ánh xạ biểu đồ luồng tính toán, giúp triển khai chúng lên nền tảng phần cứng, như công cụ biên dịch máy học TVM.

Ở cấp độ thuật toán, việc thiết kế thuật toán nhẹ hơn nhằm điều chỉnh thuật toán dựa trên đặc điểm của hệ thống phần cứng và phần mềm, bằng cách điều chỉnh cấu trúc mô hình học máy và cách biểu diễn dữ liệu, giảm bớt chi phí tính toán (Computation Cost), truy cập bộ nhớ (Memory Access Cost) và chi phí lưu trữ (Memory Overhead). Việc giảm thiểu chi phí này cuối cùng sẽ thể hiện trên các chỉ số như độ trễ, tốc độ xử lý, công suất, tiêu thụ năng lượng và dung lượng lưu trữ.

Sách “Học sâu hiệu quả: Thiết kế và nén mô hình (Full Color)” tập trung vào việc thiết kế thuật toán nhẹ hơn, tức là tạo ra các mô hình nhẹ hơn thông qua việc thiết kế lại từ đầu hoặc nén mô hình hiện có để đạt được hiệu quả cao hơn.

Sách này cung cấp các phương pháp luận chi tiết về nén mô hình, bao gồm thiết kế mô đun hiệu quả, cắt tỉa mô hình, lượng tử hóa mô hình, nhị phân hóa mô hình, tìm kiếm kiến trúc mạng nơ-ron và chưng cất tri thức.

Ngoài ra, sách cũng giới thiệu ngắn gọn về việc thiết kế bộ gia tốc tùy chỉnh và việc tăng tốc và nén mô hình ngôn ngữ lớn.

Đối với những người mới bắt đầu muốn tham gia vào lĩnh vực nén mô hình, sách này tổng hợp khung tổng thể của học sâu hiệu quả và chú trọng giải thích và phân biệt các khái niệm cơ bản quan trọng, giúp người đọc nhanh chóng nắm bắt toàn bộ lĩnh vực này.

Đối với những người đã có kinh nghiệm nghiên cứu và muốn khám phá các hướng nghiên cứu liên quan, sách này cung cấp các tổng kết khung tổng thể ở nhiều cấp độ, xác định mối quan hệ giữa các lĩnh vực con và giữa các phương pháp trong cùng một lĩnh vực con, giúp người đọc hiểu rõ hơn về sự tích hợp của kiến thức, từ đó hỗ trợ sáng tạo và khám phá.

Đối với những người cần sách tham khảo để giải quyết các vấn đề thực tế, sách này không chỉ tổng hợp kinh nghiệm thực tiễn mà còn cung cấp các giải thích chi tiết về logic và ứng dụng của từng công nghệ cụ thể, giúp người đọc hiểu rõ cách phân tích và giải quyết vấn đề, và nhanh chóng định vị đến các tài liệu liên quan.

Sách này phân tích hệ thống các kỹ thuật nén, thiết kế và lượng tử hóa mô hình học máy, trình bày logic và khung một cách cẩn thận, kết hợp lý thuyết và thực hành, từ cơ bản đến nâng cao.

Chen Yiran, Giáo sư Khoa Kỹ thuật Điện và Máy tính, Đại học Duke (Fellow AAAS, ACM, IEEE, NAI): Sách này tổng hợp đầy đủ các phương pháp luận về nén và thiết kế mô hình hiệu quả, có cấu trúc logic rõ ràng và nội dung cập nhật xu hướng mới nhất. Các tổng kết phương pháp luận hệ thống và kiến thức tiên tiến trong sách này có thể mang lại nhiều gợi ý cho các nhà nghiên cứu trong lĩnh vực này.

Wang Yunhe, Bộ trưởng Bộ ứng dụng thuật toán, Huawei: Sách này tổng hợp toàn diện các phương pháp luận về nén mô hình và chia sẻ nhiều kinh nghiệm thực tiễn, đây là tài liệu tham khảo quan trọng cho việc áp dụng thực tế các phương pháp nén mô hình trong công nghiệp, là một cuốn sách giáo trình xuất sắc.

Từ khóa:

• Học sâu hiệu quả
• Nén mô hình
• Thiết kế mô hình
• Trí tuệ nhân tạo
• Mô hình lớn