Giải mã RAG: Khám phá và thực hành công nghệ RAG của Zhizhu.

Thực hành công nghệ với các mô hình lớn

Cách cải tiến hiệu suất của mô hình lớn trong xử lý chính sách công

Những thách thức hiện tại

Khi nói đến việc xử lý nội dung chính sách, chúng ta thường gặp phải một số thách thức nhất định. Phương pháp truyền thống cắt đoạn theo độ dài không hiệu quả vì nội dung chính sách có mật độ kiến thức cao và mỗi câu có thể chứa câu trả lời cần thiết. Hơn nữa, các điều khoản liên quan chặt chẽ với nhau, đòi hỏi nhiều điều khoản liên tục để đưa ra câu trả lời đầy đủ.

Micro-adjustment của Embedding

Mô hình Embedding chung không đủ để đối phó với các vấn đề do người dùng sử dụng ngôn ngữ tự nhiên quá mức. Cần phải điều chỉnh cụ thể cho từng ngữ cảnh kinh doanh để lọc thông tin không liên quan và tăng độ chính xác.

So sánh Query vs Original

Cách đơn giản và hiệu quả này sử dụng trực tiếp câu hỏi của người dùng để gọi lại các mảnh thông tin từ cơ sở dữ liệu.

So sánh Query vs Query

Cách này dễ bảo trì hơn, sử dụng câu hỏi của người dùng để gọi lại các câu hỏi khác, giúp tự động hóa quá trình trích xuất câu hỏi từ các mảnh thông tin tương ứng.

So sánh Query vs Summary

Sử dụng câu hỏi của người dùng để gọi lại tóm tắt thông tin, từ đó xây dựng mối quan hệ giữa tóm tắt và các mảnh thông tin.

So sánh F-Answer vs Original

Theo câu hỏi của người dùng, tạo ra câu trả lời giả để gọi lại các mảnh thông tin.

Khó khăn trong việc đánh dấu dữ liệu

Nhân viên nghiệp vụ có thể biết câu trả lời đúng nhưng khó khăn trong việc đánh dấu dữ liệu phù hợp với yêu cầu nhất quán và đa dạng. Do đó, cần phải điều chỉnh và làm phong phú thêm câu trả lời dựa trên dữ liệu gốc hoặc tăng cường logic ngôn ngữ.

Đa dạng câu hỏi và câu trả lời

Trong lĩnh vực dịch vụ công cộng, mô hình cần phải biết cách trả lời đúng, từ chối những câu hỏi không liên quan và hỏi lại để lấy thông tin đầy đủ. Điều này đòi hỏi việc xây dựng dữ liệu đặc biệt để huấn luyện mô hình.

Tăng cường khả năng tìm kiếm kiến thức

Trong các lĩnh vực như chính phủ, mô hình cần phải lọc ra câu trả lời chính xác từ hàng loạt thông tin liên quan. Việc này đòi hỏi việc tăng cường dữ liệu nhiễu để nâng cao khả năng tìm kiếm kiến thức.

Tăng độ chính xác và chuyên môn trong câu trả lời

Trong lĩnh vực dịch vụ công cộng, câu trả lời thường không hoàn toàn chính xác, nhưng các chuyên gia có thể đưa ra câu trả lời hữu ích hơn. Vì vậy, cần huấn luyện mô hình để chọn ra câu trả lời tốt nhất từ nhiều lựa chọn.

Giải mã RAG: Khám phá và thực hành công nghệ RAG của Zhizhu.