Nhân viên cũ của LangChain tiết lộ Devin 2.0 mạnh hơn sắp ra mắt? Vậy “nhà lập trình AI đầu tiên trên thế giới” thực sự đã giả mạo?

Devin 2.0: Tính Năng Mới và Phản Hồi từ Cộng Đồng

Tháng 3, một chương trình AI có tên Devin đã xuất hiện trên toàn cầu, nhanh chóng trở thành tâm điểm chú ý. Được biết, Devin có khả năng lên kế hoạch và thực hiện các công việc kỹ thuật phức tạp yêu cầu hàng ngàn quyết định, đồng thời ghi nhớ từng bước thực hiện, học hỏi và sửa lỗi theo thời gian. Điều này đã gây ra sự lo lắng cho nhiều lập trình viên.

Những ngày gần đây, Andrew Gao, cựu nhân viên của LangChain, đã tiết lộ về các tính năng mới của phiên bản Devin 2.0 sắp được ra mắt.

Đầu tiên, Devin sẽ có chế độ tương tác để giúp nó duyệt web. Điều này rất hữu ích nếu nó bị mắc kẹt ở captcha hình ảnh hoặc các vấn đề tương tự. Mặc dù nó hơi chậm (điều này đã được thừa nhận), nhưng nó vẫn hoạt động tốt đủ để thực hiện các thao tác như nhấp chuột.

Thứ hai, người dùng đã phàn nàn rằng họ không thể can thiệp và chỉnh sửa mã khi sử dụng Devin. Giờ đây, họ có thể thực hiện điều này thông qua chế độ Web VSCode.

Một tính năng khác là cookie, cho phép Devin đăng nhập vào tài khoản người dùng mà không cần mật khẩu. PhantomBuster cũng đã thực hiện điều tương tự.

Andrew đưa ra ví dụ về việc anh ấy yêu cầu Devin đặt mua cánh gà tại DoorDash. Devin đã thực hiện tốt nhiệm vụ này bằng cách tìm cửa hàng Wingstop, chọn cánh gà và thao tác với các hộp kiểm.

Devin còn có tính năng “snapshot máy”, cho phép người dùng lưu trạng thái của Devin, giúp người dùng có thể khởi động lại sau khi tắt máy chủ.

Devin cũng hỗ trợ tích hợp với GitHub, cho phép người dùng thực hiện các lần commit.

Tuy nhiên, cần lưu ý rằng công ty đứng đằng sau Devin, Cognition, chưa chính thức công bố các tính năng này.

Thời điểm nóng bỏng nhất của Devin có hai giai đoạn: ngày 13 tháng 3 khi nó được ra mắt, và khoảng hai tuần sau đó khi nó bị cáo buộc giả mạo.

Vào đầu tháng trước, Karl, một blogger mạng với hơn 35 năm kinh nghiệm trong lĩnh vực kỹ sư phần mềm, đã nghi ngờ về khả năng của Devin. Karl đã tái tạo từng khung của video demo của Devin và đưa ra những nghi vấn sau:

• Devin được cho là có thể giải quyết bất kỳ nhiệm vụ nào trên Upwork, nhưng trong video demo, yêu cầu giải quyết không phù hợp với yêu cầu do khách hàng đưa ra (khách hàng yêu cầu hướng dẫn thiết lập, chứ không phải mã).
• Devin đang sửa lỗi trong kho lưu trữ nguồn GitHub, nhưng những file mà nó chỉnh sửa không tồn tại trong kho lưu trữ đó. Một số lỗi mà nó sửa là vô nghĩa, thuộc loại mà con người không bao giờ mắc phải. Kết luận: Devin có lẽ đang sửa lỗi trong file do chính nó tạo ra, nhưng không rõ ràng.
• Phần EC2 không yêu cầu bất kỳ mã nào, vì tệp mô tả trong kho lưu trữ chứa tất cả hướng dẫn cần thiết để hoàn thành công việc, chỉ cần một dòng điều chỉnh là đủ. Đó là lý do tại sao khách hàng yêu cầu hướng dẫn về cách chạy trên EC2, chứ không phải yêu cầu mã hóa. Devin dường như không đọc tệp mô tả và không hiểu rằng nó chỉ cần thực hiện một số kịch bản Python sẵn có. Đầu ra trong video có vẻ phức tạp với nhiều kế hoạch và hộp kiểm hiển thị công việc đã hoàn thành, nhưng thực tế công việc này không có ý nghĩa và dư thừa.
• Mã thay đổi của Devin rất kém, ví dụ như viết vòng lặp đọc tệp cấp thấp thay vì sử dụng thư viện chuẩn.
• Dù video cho thấy Devin hoàn thành nhiệm vụ nhanh chóng và người tạo video có thể hoàn thành yêu cầu trong khoảng 30 phút, nhưng dấu thời gian trong cuộc trò chuyện cho thấy nhiệm vụ kéo dài hàng giờ, thậm chí kéo dài đến ngày hôm sau.
• Devin thực hiện các lệnh shell vô nghĩa, như “head -n 5 foo | tail -n 5”.

Karl cho rằng Cognition đã phóng đại khả năng của Devin, mô tả video và tweet chứa đựng những lời nói dối, gây ra sự hiểu lầm. Karl khuyên mọi người không nên lặp lại và lan truyền những tuyên bố mà không nghiên cứu kỹ lưỡng.

“Ít có sản phẩm AI nào có thể duy trì hiệu suất sau vài tuần được quảng cáo rầm rộ,” một người dùng nhận xét.

Mặc dù mọi người rất mong chờ Cognition trả lời những nghi vấn này, nhưng đến nay đội ngũ vẫn chưa đưa ra lời giải thích. Chúng ta chỉ có thể thấy một thoáng qua về thái độ của Scott đối với nhược điểm của Devin thông qua tweet của anh ấy vào giữa tháng 4: Devin hiện vẫn chưa hoàn hảo. Devin thường hoạt động, nhưng cũng thường mắc lỗi, viết mã sai hoặc gặp khó khăn.

Ngày 2 tháng 5, một video phỏng vấn ngắn với Scott Wu đã được phát hành. Trong video, Scott cho biết tương lai của kỹ sư không giảm đi mà còn tăng lên. Đầu tiên, nhu cầu về kỹ sư tăng lên do nhiều vấn đề có thể giải quyết bằng mã. Thứ hai, Devin không quyết định làm gì, người sử dụng nó phải biết mình cần xây dựng gì, giải quyết vấn đề gì, vì vậy Scott cho rằng Devin chỉ giúp kỹ sư tập trung hơn.

Scott cho rằng Devin mạnh mẽ nhất trong lĩnh vực DevOps và thiết lập Dev. “Điểm khiến chúng tôi thực sự hào hứng đầu tiên với Devin là khi nó xoay vòng bảng cơ sở dữ liệu, khởi động Kubernetes.” Một ví dụ tốt khác là phân tích dữ liệu. Scott nhấn mạnh rằng Devin là một thực thi, trọng tâm của nó là làm rõ yêu cầu sau đó chuyển đổi thành mã.

“Họ đã cho anh ấy mọi cơ hội để phản hồi lại những phê bình về video, nhưng anh ấy luôn tránh né. Anh ấy không nói gì đáng giá. Cuộc phỏng vấn này không tạo ra niềm tin nào về công ty của anh ấy,” một người dùng nhận xét dưới video, thậm chí còn châm biếm: “Lừa đảo tiền điện tử phỏng vấn lừa đảo tiền điện tử.”

Tất nhiên, cũng có người ủng hộ: “Thật điên rồ khi thấy nhiều người chỉ trích như vậy. Scott đã xây dựng một đội ngũ xuất sắc và đang phát triển một sản phẩm cách mạng.”

Theo LinkedIn, công ty hiện có hơn 35 nhân viên, và các động thái trên vẫn giữ nguyên từ thời điểm Devin ra mắt.

Công ty Cognition có ba người sáng lập: CEO Scott Wu, CTO Steven Hao và Chief Product Officer Walden Yan.

Scott Wu tự thuật rằng anh bắt đầu lập trình từ khi 9 tuổi và rất yêu thích cảm giác biến ý tưởng của mình thành hiện thực. Người ta còn đào bới được video của Scott Wu khi anh tham gia cuộc thi MathCounts ở tuổi 14. Trong cuộc thi, Scott Wu trả lời các câu hỏi toán học Olympic hầu như không cần suy nghĩ, người dẫn chương trình đọc xong câu hỏi, Scott Wu ngay lập tức báo đáp án.

Hao trước đây từng là kỹ sư hàng đầu của Scale AI, một công ty khởi nghiệp giá trị chuyên về huấn luyện hệ thống AI. Yan vừa mới rời Harvard, anh yêu cầu giữ bí mật về điều này vì chưa nói với bố mẹ. Người sáng lập còn tự thuật rằng nhóm của họ có 10 huy chương IOI.

Nhóm này đã thu hút được khoản đầu tư A Series 21 triệu đô la từ quỹ Founders Fund của Peter Thiel. Ngoài ra, theo Bloomberg, cựu giám đốc điều hành Twitter Elad Gil cũng đã đầu tư vào Cognition AI.

Nhưng làm thế nào Cognition có thể đạt được đột phá lớn trong thời gian ngắn như vậy vẫn là một bí ẩn chưa được giải.

Scott từ chối tiết lộ chi tiết về công nghệ bên dưới, chỉ nói rằng nhóm của anh ta đã tìm ra cách kết hợp các mô hình ngôn ngữ lớn như OpenAI GPT-4 với công nghệ học tăng cường một cách độc đáo. Cognition cũng từ chối tiết lộ mức độ phụ thuộc của Devin vào các mô hình ngôn ngữ lớn hiện có khác.

Trong cuộc phỏng vấn, Scott vẫn từ chối tiết lộ thêm về cách Devin hoạt động.

Toàn bộ phần liên quan đến việc triển khai, toàn bộ nhóm Cognition đều giữ im lặng, tăng thêm sự bí ẩn đồng thời cũng khiến mọi người nghi ngờ hơn, bởi vì “Nói thì dễ, hãy cho tôi xem mã của bạn” đã trở thành sự đồng thuận chung.

Từ khóa:

• Devin
• AI
• Cognition
• DevOps
• GitHub