Cuộc đua AI đang nóng lên.

Chip AI suy luận mới: Cuộc đua không ngừng nghỉ

Mặc dù GPU của NVIDIA vẫn chiếm ưu thế trong lĩnh vực đào tạo AI, có dấu hiệu cho thấy các đối thủ đang bắt kịp NVIDIA trong lĩnh vực suy luận AI, đặc biệt là về hiệu suất năng lượng. Tuy nhiên, chip Blackwell mới của NVIDIA có thể khó bị vượt qua.

Những kết quả mới nhất từ cuộc thi ML Perf Inference v4.1 do ML Commons công bố đã chứng kiến sự tham gia của nhiều đội ngũ sử dụng các loại chip khác nhau, bao gồm cả chip mới của NVIDIA.

Trong số các hạng mục của cuộc thi, hạng mục “đóng cửa dữ liệu trung tâm” nhận được nhiều bài dự thi nhất. Các bài dự thi trong hạng mục này không được phép chỉnh sửa phần mềm một cách đáng kể, mà phải thực hiện nhiệm vụ suy luận theo đúng nguyên bản.

Các bài dự thi tập trung vào nhiều loại tác vụ AI khác nhau, từ việc tạo hình ảnh (như Midjourney) đến trả lời câu hỏi từ mô hình ngôn ngữ lớn (như ChatGPT), cũng như những tác vụ quan trọng nhưng ít thu hút sự chú ý hơn như phân loại hình ảnh, nhận dạng đối tượng và hệ thống đề xuất.

Đặc biệt, cuộc thi này đã giới thiệu một bài kiểm tra mới gọi là “Mixture of Experts”, một xu hướng ngày càng phổ biến trong triển khai mô hình ngôn ngữ lớn: một mô hình ngôn ngữ được chia thành nhiều mô hình nhỏ hơn và độc lập, mỗi mô hình được điều chỉnh cho một tác vụ cụ thể.

Nhiều đội ngũ đã tham gia cuộc thi này, trong đó đội ngũ dựa trên GPU H200 của NVIDIA và siêu chip GH200 đã giành chiến thắng trong hầu hết các bài kiểm tra. Tuy nhiên, khi phân tích kỹ hơn về dữ liệu hiệu suất, tình hình trở nên phức tạp hơn.

Chip Blackwell mới của NVIDIA đã chứng tỏ hiệu suất cao hơn 2.5 lần so với các chip trước đây trong bài kiểm tra duy nhất mà nó tham gia – tác vụ trả lời câu hỏi từ mô hình ngôn ngữ lớn. Chip preview speedAI240 của Untether AI cũng đã đạt được hiệu suất gần tương đương với chip H200 trong bài kiểm tra duy nhất mà nó tham gia – nhận dạng hình ảnh.

Chip mới của NVIDIA có khả năng hoạt động với độ chính xác số học 4 bit, một bước tiến đáng kể so với độ chính xác 8 bit trước đây. Điều này đã giúp NVIDIA cải thiện tốc độ tính toán đồng thời đảm bảo độ chính xác cần thiết.

Chip Blackwell cũng có băng thông bộ nhớ tăng lên đáng kể, đạt 8 megabyte mỗi giây, gần gấp đôi so với chip H200.

Ngoài ra, chip này được thiết kế để hoạt động hiệu quả nhất khi kết hợp với công nghệ NVLink của NVIDIA, cho phép truyền dữ liệu với tốc độ lên đến 100 gigabyte mỗi giây.

Untether AI đã đạt được hiệu suất đáng kinh ngạc trong bài kiểm tra năng lượng bằng cách sử dụng phương pháp “tính toán trong bộ nhớ”. Phương pháp này cho phép giảm đáng kể tiêu thụ năng lượng bằng cách giảm thời gian và tài nguyên cần thiết để di chuyển dữ liệu giữa bộ nhớ và lõi xử lý.

Trong hạng mục “đóng cửa viền”, Untether AI đã đạt được hiệu suất vượt trội, với tốc độ xử lý tăng 2.8 lần và tốc độ thông lượng tăng 1.6 lần so với NVIDIA L40S. Đồng thời, tiêu thụ năng lượng cũng giảm đáng kể.

Furiosa, một công ty khác, đã giới thiệu chip mới của mình với một phương pháp hiệu quả hơn để thực hiện phép nhân ma trận cơ bản, một tác vụ cốt lõi trong AI suy luận.

Tổng kết, thị trường chip AI suy luận sẽ tiếp tục sôi động trong tương lai gần, với nhiều công ty liên tục cải tiến và phát triển công nghệ mới.

Tóm tắt 5 từ khóa:

• Chip AI
• NVIDIA
• Suy luận AI
• Blackwell
• Untether AI