Hiệu quả Năng lượng trong Thời đại Trí tuệ Tạo sinh: Một Khái quát về Hệ thống Cao cấp

Thế giới đang bước vào thời đại của Trí tuệ Tạo sinh, nơi mà nhu cầu dịch vụ ngày càng tăng từ phía người dùng đặt ra thách thức lớn đối với quy mô tính toán của cơ sở hạ tầng. Đồng thời, việc mở rộng các hệ thống tính toán cũng đặt áp lực lên nguồn năng lượng và môi trường, buộc ngành công nghiệp phải tìm cách nâng cao hiệu suất năng lượng từ chip đến cụm máy tính, cho đến toàn bộ hệ sinh thái trung tâm dữ liệu.

Như SemiAnalysis đã chỉ ra gần đây, mức tiêu thụ năng lượng đang trở thành yếu tố then chốt quyết định sự cạnh tranh trong ngành công nghiệp tính toán trí tuệ nhân tạo (AI). Đây là một vấn đề không thể bỏ qua khi thảo luận về sự phát triển của AI. Bài viết này được tổng hợp dựa trên bài phát biểu của Giáo sư Wang Yu, người đứng đầu Khoa Kỹ thuật Điện tử tại Đại học Thanh Hoa, tại Hội nghị Toàn cầu AICon vào tháng 5 năm 2024, với chủ đề “Trí tuệ Bền vững: Triển vọng về Hệ thống Cao cấp với Hiệu suất Năng lượng Cao”.

Trước khi đi sâu vào chủ đề AI, chúng ta cần đặt câu hỏi cơ bản về “trí tuệ” là gì? Daniel Kahneman, người đoạt giải Nobel, trong cuốn sách “Think Fast and Slow” của ông, đã phân loại trí tuệ con người thành hai hệ thống: hệ thống nhanh, tự động, trực quan và hệ thống chậm, mang tính phân tích và lý trí. Tương tự như vậy, sự phát triển của AI cũng trải qua ba giai đoạn: Trí tuệ Tính toán, Trí tuệ Nhận biết và Trí tuệ Nhận thức.

Trong lĩnh vực chip, mục tiêu của các nhà thiết kế là cải thiện hiệu suất tính toán y=f(x). Trong giai đoạn đầu, các nhà thiết kế tập trung vào việc tối ưu hóa các chức năng thông qua phần cứng, sau đó phát triển các thuật toán AI nhắm vào các ứng dụng cụ thể.

Trong kỷ nguyên AI 1.0, các thuật toán thông minh được thiết kế cho nhiều ứng dụng khác nhau như xử lý hình ảnh và ngôn ngữ tự nhiên. Các nhà thiết kế chip đã tạo ra các mạch tích hợp chuyên dụng (ASIC) để tối ưu hóa việc triển khai thuật toán lên phần cứng. Tuy nhiên, trong kỷ nguyên AI 2.0, chúng ta chuyển sang việc huấn luyện một mô hình cơ bản từ tất cả dữ liệu có sẵn, sau đó điều chỉnh mô hình này cho từng ngành cụ thể.

Đối mặt với những thách thức này, nhóm nghiên cứu của chúng tôi tập trung vào việc cải thiện hiệu suất năng lượng. Trong giai đoạn 2002-2007, chúng tôi tập trung vào việc cải tiến quy trình sản xuất chip. Tuy nhiên, từ năm 2007 trở đi, hướng tiếp cận chính đã chuyển sang việc sử dụng các bộ gia tốc (accelerators) để tăng cường hiệu suất năng lượng.

Chúng tôi cũng đã phát hiện ra rằng việc tối ưu hóa đồng thời thuật toán và cấu trúc phần cứng có thể mang lại sự cải thiện đáng kể về hiệu suất năng lượng. Ví dụ, việc sử dụng các kỹ thuật lượng tử, tính toán quang học, và tính toán nội bộ bộ nhớ (in-memory computing) có thể giúp đột phá các mô hình tính toán hiện tại.

Nhóm của chúng tôi cũng đã thực hiện việc tích hợp thuật toán vào phần cứng. So với GPU, chúng tôi đã đạt được cải thiện hiệu suất năng lượng lên đến 6 lần bằng cách sử dụng FPGA. Điều này chứng tỏ rằng việc tạo ra chip chuyên dụng cho tính toán có thể đạt được, nhưng thách thức lớn nhất là làm sao cho chip có thể thích ứng với sự thay đổi của thuật toán.

Tổng kết, chúng tôi đang hướng tới việc tối ưu hóa toàn diện từ thuật toán đến cấu trúc phần cứng, và cuối cùng là tối ưu hóa hiệu suất năng lượng trong hệ thống lớn. Chúng tôi cũng đang tập trung vào việc kết hợp năng lượng và tính toán, nhằm tạo ra giải pháp bền vững cho tương lai.

Bên cạnh đó, Đại học Thanh Hoa cũng đã thành lập Học viện Trí tuệ Nhân tạo, tập trung vào hai lĩnh vực: AI core, tập trung vào thuật toán và tính toán, và AI+, tập trung vào việc kết hợp AI với các ngành công nghiệp khác. Mặc dù sự phát triển về quy mô tính toán không đạt được như kỳ vọng, nhưng sự phát triển về quy mô tính toán vẫn diễn ra rất nhanh chóng.

Trong lĩnh vực cung cấp, các nhà sản xuất quy trình logic nhỏ hơn 10nm chiếm 92% thị phần, chủ yếu là TSMC. Điều này khiến cho việc mở rộng quy mô tính toán ở Trung Quốc gặp nhiều khó khăn, do phụ thuộc vào công nghệ của TSMC, bị hạn chế bởi lệnh cấm của Mỹ.

Để giải quyết vấn đề này, chúng tôi đang nỗ lực trong việc phát triển phần mềm và dịch vụ đám mây để hỗ trợ việc sử dụng hiệu quả các loại chip khác nhau. Chúng tôi cũng đã phát triển hệ thống huấn luyện phân tán HETHUB, cho phép huấn luyện mô hình lớn trên nhiều loại chip khác nhau, đạt được hiệu suất sử dụng tối đa lên đến 97.6%.

Trong lĩnh vực suy luận quy mô lớn, chúng tôi đã tích hợp công nghệ tối ưu hóa dịch vụ vào nền tảng đám mây của mình, giúp tăng tốc độ xử lý yêu cầu lên đến 30 lần.

Nếu khả năng tính toán của mô hình lớn thực sự tăng lên 100 lần, nhu cầu năng lượng sẽ tăng lên đáng kể. Dự kiến đến năm 2025, tỷ lệ năng lượng tiêu thụ từ AI trong trung tâm dữ liệu toàn cầu sẽ tăng từ 2% lên 10%. Điều này đòi hỏi chúng ta phải xem xét cách thức cải thiện hệ thống điện và khả năng hấp thụ năng lượng xanh như gió và ánh sáng mặt trời.

Chúng tôi cũng đang hợp tác với Khoa Điện lực của trường để nghiên cứu cách kết hợp năng lượng và tính toán, nhằm tối ưu hóa sử dụng năng lượng cho các trung tâm tính toán và giải quyết vấn đề về khả năng hấp thụ năng lượng xanh.

Với sự hợp tác này, chúng tôi hy vọng sẽ tạo ra một hệ thống AI bền vững, có đủ năng lượng và tính toán cho tương lai.

Tóm tắt từ khóa:

• Trí tuệ Tạo sinh
• Hiệu suất Năng lượng
• Hệ thống Cao cấp
• AI Con
• Trí tuệ Nhân tạo