Huang Renxun trò chuyện với các chuyên gia Transformer: Nguồn gốc, hiện tại và tương lai của mô hình lớn.

Những người sáng lập Transformer và cơn sốt AI

Với làn sóng AI mới đang tràn ngập, NVIDIA đã đạt được giá trị vốn hóa thị trường vượt quá 2 nghìn tỷ đô la, trở thành công ty công nghệ nóng nhất hiện nay. Đại hội GTC năm nay chính là sự kiện công nghệ được mong đợi nhất trong năm.

Trong bốn ngày của hàng trăm buổi thuyết trình chủ đề, cuộc trò chuyện giữa người sáng lập NVIDIA – Jensen Huang và tám tác giả của mô hình Transformer, không nghi ngờ gì là một trong những buổi được quan tâm nhất. Về một khía cạnh nào đó, cả hai đều là những người tiên phong của làn sóng AI này.

Năm 2017, nhóm nghiên cứu Google Brain đã xuất bản bài báo có tựa đề “Chú ý là tất cả bạn cần” (Attention is All You Need), nhằm giải quyết vấn đề về tính toán song song trong xử lý ngôn ngữ tự nhiên khi sử dụng mô hình RNN truyền thống. Bài báo này đã giới thiệu cấu trúc xử lý mới, gọi là mô hình Transformer, nền tảng cho các mô hình lớn ngày nay.

Bài báo này có tám tác giả đồng ký tên, sau này được gọi là “Tám người sáng lập Transformer”. Sau vài năm, họ lần lượt rời khỏi Google và hiện tại đã trở thành những người sáng lập hoặc nhân vật chủ chốt về công nghệ của các công ty AI quan trọng như Essential AI, Character.AI.

Tám người sáng lập Transformer:

• Ashish Vaswani – Đồng sáng lập và CEO của EssentialAI
• Noam Shazeer – Giám đốc điều hành và đồng sáng lập của Character.AI
• Jakob Uszkoreit – Đồng sáng lập và CEO của Inceptive
• Llion Jones – Đồng sáng lập và CTO của SakanaAI
• Aidan Gomez – Đồng sáng lập và CEO của Cohere
• Lukasz Kaiser – Nhân viên kỹ thuật của OpenAI
• Illia Polosukhin – Đồng sáng lập của NEAR Protocol
• Niki Parmar – Đồng sáng lập của EssentialAI (không thể tham dự do tình hình gia đình)

Tám người sáng lập này đã đề xuất một kiến trúc mới có thể giải quyết vấn đề về tính toán song song và dự đoán rằng với quy mô huấn luyện tăng lên, AI sẽ thể hiện trí thông minh mạnh mẽ hơn. Nhưng tất cả điều này cần nguồn lực tính toán lớn, và NVIDIA, với việc đầu tư vào nghiên cứu GPU và tính toán nhanh trong mười năm qua, đã cung cấp nhiên liệu quan trọng này.

Đó là cách mà GPT ra đời và làn sóng phát triển AI nhanh chóng ngày nay. Tại thời điểm này, Huang và tám người sáng lập này, những người tiên phong của thời đại, lại có thêm nhiều góc nhìn đáng chú ý khi đối thoại với nhau.

Huang đã bắt đầu bằng lời mở đầu của mình, nói về sự ra đời của bộ xử lý máy tính trong năm sinh của ông, và sự cách mạng hóa của máy tính cá nhân vào cuối thập kỷ 80 và đầu thập kỷ 90. Điều này đã tạo ra một bước tiến đáng kể trong ngành công nghiệp máy tính, làm giảm chi phí tính toán mỗi thập kỷ khoảng 10 lần.

Sau đó, Huang tiếp tục nói về việc theo đuổi tính toán nhanh hơn, và nhấn mạnh tầm quan trọng của việc tăng tốc 1% mã code chiếm 99% thời gian chạy, để tạo ra lợi ích to lớn và thực hiện những điều không tưởng trước đây.

Một cuộc thảo luận sôi nổi đã diễn ra giữa Huang và tám người sáng lập Transformer. Họ đã cùng nhau thảo luận về tầm quan trọng và ý nghĩa của mô hình Transformer, cũng như khả năng biến đổi không thể tin được của nó và ảnh hưởng của nó đến ngành công nghiệp. Chúng ta ngày nay có thể tận hưởng tất cả những điều này nhờ vào việc học từ dữ liệu lớn.

Đó là sự khởi đầu của cuộc cách mạng công nghiệp mới, và chúng tôi có đầy đủ lý do để tin tưởng vào điều đó. Trong cuộc cách mạng công nghiệp mới này, chúng tôi đang tạo ra những thứ chưa từng tồn tại trước đây. Giống như những cuộc cách mạng công nghiệp trước đây, năng lượng được áp dụng vào nước, và thiết bị gọi là máy phát điện bắt đầu vận hành, tạo ra những thứ vô hình nhưng có giá trị lớn mà chúng ta phụ thuộc vào hôm nay.

Cuối cùng, Huang chào đón tám người sáng lập Transformer, và họ bắt đầu thảo luận về những vấn đề quan trọng liên quan đến ngành công nghệ.

Từ khóa:

• AI
• Transformer
• NVIDIA
• Generative AI
• Thành tựu công nghệ