Sau khi xử lý 500 triệu token GPT: langchain, RAG và các công cụ khác không có nhiều tác dụng.

Chia sẻ những bài học sau khi xử lý hơn 500 triệu tokens của LLM

Như tôi đã đề cập trong bài viết này, công ty khởi nghiệp của tôi, Truss (gettruss.io), đã phát hành nhiều tính năng dựa trên mô hình ngôn ngữ lớn (LLM) trong sáu tháng qua. Câu chuyện về LLM mà tôi đọc trên Hacker News giờ đây đã không còn phù hợp với thực tế của chúng tôi. Vì vậy, sau khi xử lý hơn 500 triệu tokens, tôi muốn chia sẻ một số kinh nghiệm thú vị.

Mô hình nào đang được sử dụng?

Tại Truss, chúng tôi đang sử dụng mô hình của OpenAI. Nếu bạn muốn biết quan điểm của tôi về các mô hình khác, hãy đọc phần hỏi đáp ở cuối bài viết.

• GPT-4 chiếm 85%
• GPT-3.5 chiếm 15%

Loại tác vụ chúng tôi thực hiện

Chúng tôi tập trung vào việc xử lý văn bản và không sử dụng các tính năng như GPT-4-vision, Sora, hoặc Whisper.

Chúng tôi có một trường hợp sử dụng giữa doanh nghiệp với doanh nghiệp (B2B) – tập trung vào việc tổng hợp, phân tích và trích xuất dữ liệu. Trường hợp sử dụng của bạn có thể khác biệt.

Quan trọng là cách bạn đặt câu hỏi

Chúng tôi nhận thấy rằng nếu bạn không cung cấp danh sách cụ thể hoặc hướng dẫn trong lời nhắc (prompt), kết quả thường tốt hơn. Điều này đặc biệt đúng khi những thông tin đó đã là kiến thức phổ biến. Mô hình LLM không phải là ngốc nghếch, việc cung cấp quá nhiều chi tiết có thể làm cho nó bị rối.

Ví dụ, thay vì yêu cầu mô hình trả lời từng bước, bạn có thể nói:

“Bạn rõ ràng đã biết 50 bang của Hoa Kỳ, nên chỉ cần cho tôi biết tên đầy đủ của bang liên quan hoặc ‘Liên bang’ nếu nó liên quan đến chính phủ Hoa Kỳ.”

Thử nghiệm và cải tiến

Khi chúng tôi bắt đầu, chúng tôi nghĩ rằng chúng tôi cần sử dụng Langchain, nhưng thực tế không phải vậy. Thay vào đó, chúng tôi đã xây dựng một hàm đơn giản để tương tác với API của OpenAI.

Hàm này chủ yếu xử lý lỗi thông thường và đóng vai trò như một bộ đệm tự động để cắt ngắn văn bản khi cần thiết. Chúng tôi cũng đã xây dựng một cơ chế tự động thử lại khi gặp lỗi.

Giới hạn của GPT-4

Một vấn đề mà chúng tôi gặp phải là giới hạn kích thước của GPT-4. Đầu vào tối đa cho GPT-4 là 128K, trong khi đầu ra chỉ có 4K. Điều này đôi khi gây khó khăn khi yêu cầu GPT-4 trả về một danh sách dài.

Ví dụ, khi yêu cầu GPT-4 trả về một danh sách các công ty từ một đoạn văn, nó thường chỉ trả về khoảng 10 mục, thậm chí chỉ đạt được 15% khi yêu cầu 15 mục.

Đánh giá về RAG và tìm kiếm

Nhiều người cho rằng RAG (Retrieval-Augmented Generation) và hệ thống tìm kiếm có thể là giải pháp cho nhiều vấn đề, nhưng thực tế không phải vậy. RAG thường trả về kết quả không liên quan hoặc quá bảo thủ, bỏ lỡ những kết quả quan trọng.

Thay vào đó, chúng tôi thấy rằng việc sử dụng mô hình ngôn ngữ lớn để chuyển đổi tìm kiếm thông thường thành tìm kiếm phức tạp hơn (như SQL) thường hiệu quả hơn.

Kết luận

Tóm lại, việc xử lý dữ liệu đầu vào chất lượng cao sẽ giúp GPT đưa ra phản hồi tốt hơn. Mô hình ngôn ngữ lớn vẫn còn nhiều tiềm năng để phát triển, nhưng chúng ta cần hiểu rõ giới hạn của chúng.

Câu hỏi thường gặp

1. Liệu có cách nào khác để sử dụng mô hình ngôn ngữ lớn? Không. Cách tiếp cận hiện tại vẫn là hiệu quả nhất.
2. Mô hình ngôn ngữ lớn có thể thay đổi ngành công nghệ? Có, nhưng nó đòi hỏi sự cải tiến đáng kể về hiệu suất và chi phí.
3. Chúng ta có cần lo lắng về việc nâng cấp lên GPT-5? Không cần quá lo lắng. Cải tiến nhỏ có thể không mang lại lợi ích lớn.

Từ khóa

• Mô hình Ngôn ngữ Lớn
• Truss
• OpenAI
• Tìm kiếm
• RAG