Nhóm Siêu Phối Hợp của OpenAI vừa công bố kết quả đầu tiên, một phần của kế hoạch nội bộ nhằm ngăn chặn sự mất kiểm soát của siêu thông minh máy tính – một loại máy tính tưởng tượng trong tương lai có thể thông minh hơn con người. Khác với nhiều thông báo trước đây của OpenAI, lần này không có bất kỳ đột phá lớn nào. Trong một nghiên cứu khiêm tốn, nhóm đã mô tả một kỹ thuật cho phép một mô hình ngôn ngữ lớn cấp thấp giám sát một mô hình ngôn ngữ mạnh mẽ hơn. Họ cho rằng đây là bước nhỏ đầu tiên hướng tới việc “hiểu cách con người có thể giám sát siêu thông minh máy tính”.

Trước đó, OpenAI đã gặp phải một cuộc khủng hoảng khi CEO Sam Altman bị Hội đồng Giám sát sa thải (được cho là do một cuộc đảo chính do nhà khoa học chính Ilya Sutskever lãnh đạo), nhưng ba ngày sau ông đã được tái bổ nhiệm. Thông báo mới nhất này diễn ra chưa đầy một tháng sau sự cố, cho thấy công ty đã trở lại quỹ đạo.

Nhiều nhà nghiên cứu vẫn nghi ngờ liệu máy móc có thể đạt đến mức độ thông minh tương đương hoặc vượt qua con người, nhưng nhóm của OpenAI tin rằng điều này sẽ xảy ra. “Trong những năm gần đây, tiến bộ trong trí tuệ nhân tạo rất nhanh”, nhà nghiên cứu Leopold Aschenbrenner của Nhóm Siêu Phối Hợp nói. “Chúng tôi liên tục thiết lập kỷ lục mới trong tất cả các bài kiểm tra benchmark và xu hướng này đang tăng lên.”

Theo Aschenbrenner và những người khác tại OpenAI, việc ngành công nghiệp đạt được các mô hình có khả năng tương đương với con người chỉ còn là vấn đề thời gian. “Nhưng điều này không dừng lại ở đó,” ông nói. “Chúng ta sẽ sở hữu các mô hình siêu nhân, tức là các mô hình thông minh hơn nhiều so với chúng ta. Tương lai này sẽ mang đến nhiều thách thức công nghệ mới, sâu sắc hơn.”

Vào tháng 7, Sutskever và nhà khoa học Jan Leike của OpenAI đã thành lập Nhóm Siêu Phối Hợp để đối mặt với những thách thức này. “Tôi làm điều này vì lợi ích của chính tôi,” Sutskever nói vào tháng 9 với tạp chí MIT Technology Review. “Điều quan trọng là đảm bảo bất kỳ siêu thông minh nào được xây dựng bởi bất kỳ ai cũng không mất kiểm soát.”

Nhóm Nhóm Siêu Phối Hợp muốn trả lời câu hỏi về cách kiểm soát hay “đối sánh” các mô hình giả định thông minh hơn nhiều so với chúng ta – gọi là mô hình siêu nhân. Đặt tên là “siêu đối sánh” vì nó áp dụng ý tưởng này cho mô hình siêu nhân.

Một kỹ thuật phổ biến để điều chỉnh mô hình hiện tại được gọi là “học máy tăng cường dựa trên phản hồi từ con người”. Nói chung, các người dùng thử nghiệm đánh giá phản ứng của mô hình và đưa ra điểm số cho hành vi họ muốn thấy và không muốn thấy. Sau đó, phản hồi này được sử dụng để huấn luyện mô hình chỉ tạo ra các loại phản hồi mà người dùng thử nghiệm mong muốn. Đây là một trong những lý do khiến ChatGPT trở nên hấp dẫn.

Tuy nhiên, vấn đề đặt ra là phương pháp này đòi hỏi con người phải phân biệt giữa hành vi lý tưởng và không lý tưởng. Khi mô hình siêu nhân xuất hiện, mô hình có thể thực hiện các hành động mà người dùng thử nghiệm không hiểu, do đó không thể đánh giá chúng. (Sutskever nói với chúng tôi rằng mô hình thậm chí có thể cố gắng che giấu hành vi thực sự của mình.)

Nhóm Siêu Phối Hợp của OpenAI giải quyết vấn đề này bằng cách sử dụng một phương pháp thay thế. Thay vì nghiên cứu cách con người giám sát siêu thông minh máy tính, họ đã nghiên cứu cách mô hình GPT-2 của OpenAI, được phát hành cách đây năm năm, có thể giám sát mô hình GPT-4 mới nhất và mạnh mẽ nhất của OpenAI. “Nếu bạn có thể làm được điều này, điều này có thể chứng minh rằng bạn có thể sử dụng kỹ thuật tương tự để cho phép con người giám sát siêu thông minh máy tính,” Collin Burns, một thành viên của Nhóm Siêu Phối Hợp, nói.

Nhóm đã giới thiệu GPT-2 và huấn luyện nó thực hiện các tác vụ khác nhau, bao gồm một bộ câu đố cờ vua quốc tế và 22 bài kiểm tra đánh giá suy luận, phân tích cảm xúc và các tác vụ xử lý ngôn ngữ tự nhiên phổ biến. Họ sử dụng phản ứng của GPT-2 đối với các bài kiểm tra và câu đố này để huấn luyện GPT-4 thực hiện cùng tác vụ, giống như việc một học sinh lớp ba dạy học sinh lớp mười hai cách hoàn thành tác vụ.

Kết quả là hỗn hợp. Nhóm đã đo lường khoảng cách hiệu suất giữa GPT-4 được huấn luyện dựa trên phỏng đoán tốt nhất của GPT-2 và GPT-4 được huấn luyện dựa trên câu trả lời chính xác. Họ phát hiện ra rằng GPT-4 được huấn luyện bởi GPT-2 biểu hiện tốt hơn GPT-2 từ 20% đến 70% trong các tác vụ ngôn ngữ, nhưng kém hơn trong các câu đố cờ vua.

Pavel Izmailov, một thành viên của nhóm, cho biết việc GPT-4 vượt trội hoàn toàn so với giáo viên của nó là một kết quả đáng kinh ngạc. “Đây là một kết quả rất đáng ngạc nhiên và tích cực,” ông nói. Nhưng ông nói rằng nó vẫn chưa đạt được tiềm năng của chính nó. Kết luận của họ là phương pháp này có triển vọng, nhưng cần thêm nhiều công việc.

“Đây là một ý tưởng thú vị,” Thilo Hagendorff, một nhà nghiên cứu trí tuệ nhân tạo đang nghiên cứu về đối sánh tại Đại học Stuttgart, Đức, nói. Nhưng ông nghĩ rằng GPT-2 có thể quá ngu ngốc để trở thành một giáo viên giỏi. “GPT-2 thường đưa ra phản hồi vô nghĩa đối với bất kỳ tác vụ phức tạp hoặc yêu cầu suy luận nào,” ông nói. Hagendorff muốn biết nếu họ sử dụng GPT-3 thay vào đó sẽ xảy ra điều gì.

Ông cũng lưu ý rằng phương pháp này không giải quyết được tình huống mà Sutskever giả định – một siêu thông minh có thể che giấu hành vi thực sự của mình và giả vờ phù hợp với con người, mặc dù nó thực sự đã đi sai hướng. “Các mô hình siêu nhân trong tương lai có thể sở hữu khả năng mới mà các nhà nghiên cứu không hiểu,” ông nói. “Trong những trường hợp này, phương pháp đối sánh hoạt động như thế nào?”

Nhưng ông nói rằng chỉ ra khuyết điểm là dễ dàng. Ông rất vui mừng khi thấy OpenAI bắt đầu chuyển từ suy đoán sang thí nghiệm. “Tôi rất tán thưởng nỗ lực của OpenAI,” ông nói.