Tencent tiết lộ phương pháp huấn luyện mô hình lớn mới nhất: Nâng cao hiệu suất lên 2,6 lần, tiết kiệm 50% chi phí tính toán.

Tencent nâng cao hiệu suất và giảm chi phí huấn luyện và suy luận mô hình lớn

Hiện nay, quy mô tham số của các mô hình lớn đang tăng trưởng theo cấp số nhân. Trong bối cảnh tài nguyên tính toán khan hiếm, việc cải thiện hiệu suất huấn luyện và suy luận của mô hình lớn cũng như giảm chi phí đã trở thành trọng tâm của ngành.

Vào ngày 23 tháng 11, Tencent tiết lộ rằng khung học máy tự phát triển Angel đằng sau mô hình hỗn hợp Tencent đã được nâng cấp lần nữa. Hiệu suất huấn luyện mô hình lớn đã tăng lên 2,6 lần so với khung mở nguồn phổ biến nhất, và chi phí tính toán cho việc huấn luyện mô hình có hàng nghìn tỷ tham số có thể giảm 50%. Khung Angel đã được nâng cấp để hỗ trợ huấn luyện đơn tác vụ với quy mô tới hàng nghìn card đồ họa, cải thiện hiệu suất và hiệu quả của cụm tính toán HCC dành riêng cho mô hình lớn của Tencent Cloud.

Để phục vụ cho việc huấn luyện mô hình lớn, Tencent đã tự phát triển khung học máy huấn luyện AngelPTM, tập trung vào việc tăng tốc và tối ưu hóa toàn bộ quy trình từ tiền huấn luyện, tinh chỉnh mô hình đến học tăng cường:

Về mặt lưu trữ, AngelPTM hỗ trợ song song đa chiều, bao gồm các phương pháp song song dữ liệu thông thường, song song mô hình, song song luồng và song song chuỗi. Ngoài ra, Tencent đã bổ sung công nghệ góc nhìn thống nhất dựa trên ZeRO-Cache, thông qua cách định địa chỉ thống nhất để kết nối bộ nhớ video và bộ nhớ chính, giúp đặt một lượng lớn tham số vào hệ thống khi cần thiết, tăng gấp đôi dung lượng bộ nhớ video.

Về mặt truyền thông, Tencent đã giải quyết vấn đề này bằng cách kết hợp phần cứng và phần mềm. Đầu tiên, họ đã xây dựng mạng 3,2T RDMA bằng thiết bị chuyển mạch tự phát triển để mở rộng băng thông, sau đó kết hợp phần mềm để nhận thức về cấu trúc GPU. Ngoài ra, còn có luồng tải cân bằng.

Về mặt ổn định, Tencent đã thêm các chỉ báo giám sát tương ứng cho cơ sở hạ tầng mạng, phần cứng, lưu trữ và điều độ gốc đám mây. Sau khi phát hiện lỗi, nền tảng điều độ sẽ báo cáo lỗi cho khung AngelPTM. Hầu hết trường hợp, nền tảng điều độ sẽ tiếp tục huấn luyện tự động, đồng thời ghi lại ảnh chụp nhanh trong quá trình huấn luyện. Ngoài ra, còn có giám sát khả năng chịu lỗi và hội tụ, bao gồm giá trị cực đại của tham số, đường cong mất mát, giá trị cực đại của tham số mô hình, giá trị cực đại của gradient, biến đổi trung gian và giá trị kích hoạt.

Ngoài ra, do có hệ sinh thái đa dạng của chip nội địa, Tencent đã cung cấp lớp biên dịch toán tử, cho phép toàn bộ quy trình nghiên cứu mô hình có thể di chuyển mà không cần chi phí.

Để giải quyết vấn đề chi phí suy luận ngày càng tăng, khung suy luận mô hình lớn tự phát triển AngelHCF của Tencent đã mở rộng khả năng song song, sử dụng chia sẻ nhúng, tối ưu hóa toán tử chú ý và tối ưu hóa chú ý theo trang, đồng thời cung cấp các khả năng quan trọng như lượng tử hóa, mỏng hóa, triết nén và cắt tỉa để tăng tốc độ thông lượng, từ đó đạt được hiệu suất suy luận nhanh hơn và chi phí thấp hơn.

Theo dữ liệu chính thức, so với các khung chính phổ biến, tốc độ suy luận của AngelHCF đã tăng 1,3 lần. Trong ứng dụng tạo hình văn bản của mô hình hỗn hợp Tencent, thời gian suy luận đã được rút ngắn từ 10 giây xuống còn 3 đến 4 giây.

Hiện tại, các khả năng liên quan đã được mở rộng thông qua Tencent Cloud. Dựa trên khung học máy Angel được nâng cấp, nền tảng TI của Tencent Cloud có thể cung cấp hiệu suất tăng tốc huấn luyện và suy luận tốt hơn, đồng thời hỗ trợ khách hàng huấn luyện và tinh chỉnh mô hình bằng dữ liệu của riêng họ, tạo ra ứng dụng thông minh độc quyền dựa trên mô hình hỗn hợp Tencent.

Nền tảng học sâu hiện đại đã có sự khác biệt cơ bản so với trước đây: thông thường, các nhà sản xuất lớn hoặc nhà sản xuất cơ bản cung cấp mô hình cơ bản, người dùng dựa trên mô hình cơ bản này để tinh chỉnh, huấn luyện mô hình độc quyền, sau đó xây dựng ứng dụng xung quanh mô hình độc quyền đã tinh chỉnh, tạo ra một khung ứng dụng có thể giải phóng khả năng suy luận và hiểu mô hình, tích hợp vào ứng dụng hoặc quy trình kinh doanh của họ.

Do đó, Angel cũng cung cấp nền tảng một cửa từ nghiên cứu mô hình đến áp dụng thực tế, hỗ trợ người dùng gọi nhanh chóng khả năng của mô hình hỗn hợp Tencent thông qua giao diện API hoặc tinh chỉnh, tăng tốc việc xây dựng ứng dụng mô hình lớn.

Nền tảng sản xuất hiện tại đã thêm năm khả năng mới: cung cấp mô hình cơ bản, khả năng dữ liệu, tinh chỉnh, đánh giá và triển khai một cú nhấp chuột. Về mặt tiếp cận mô hình, mô hình hỗn hợp Tencent cung cấp các mô hình có kích thước hàng nghìn tỷ, hàng trăm tỷ và hàng chục triệu, để phù hợp với nhu cầu của nhiều ứng dụng. Về xử lý dữ liệu, cung cấp khả năng làm sạch, phân loại, kiểm tra chất lượng và lọc dữ liệu; về mặt tinh chỉnh, cung cấp nhiều chế độ tinh chỉnh như tinh chỉnh LORA, tinh chỉnh toàn bộ tham số và tinh chỉnh toàn bộ.

Theo thông tin, hơn 300 ứng dụng và kịch bản bên trong Tencent đã tham gia thử nghiệm nội bộ của mô hình hỗn hợp Tencent, tăng gấp đôi so với tháng trước, bao gồm các lĩnh vực tóm tắt văn bản, tóm tắt, sáng tác, dịch thuật và mã hóa.

Bộ sưu tập trường hợp số hóa số hóa Trung Quốc: Tập 2, được công bố chính thức, bao gồm nhiều ngành công nghiệp, phỏng vấn chuyên gia hàng đầu, khám phá những câu chuyện thực hành số hóa của doanh nghiệp, giải mã cách tái cấu trúc tổ chức, công nghệ và con người trong bối cảnh kỷ nguyên số hóa. Quét mã QR dưới đây, theo dõi “Trục số hóa InfoQ”, trả lời “Số hóa số hóa Trung Quốc” để mở khóa tất cả nội dung.

Từ khóa

• Mô hình lớn
• AngelPTM
• AngelHCF
• Tencent Cloud
• Suy luận mô hình