Sự thành công lớn của ChatGPT đã thu hút sự chú ý của nhiều nhà phát triển, những người muốn sử dụng API do OpenAI cung cấp hoặc mô hình riêng tư để tạo ứng dụng dựa trên mô hình ngôn ngữ lớn. Tuy nhiên, mặc dù việc gọi mô hình ngôn ngữ lớn tương đối đơn giản, vẫn cần thực hiện rất nhiều công việc tùy chỉnh, bao gồm tích hợp API, logic tương tác và lưu trữ dữ liệu.

Để giải quyết vấn đề này, từ năm 2022, nhiều tổ chức và cá nhân đã giới thiệu nhiều dự án mã nguồn mở, giúp các nhà phát triển nhanh chóng tạo ra ứng dụng hoặc quy trình dựa trên mô hình ngôn ngữ lớn từ đầu đến cuối. Trong số đó, khung LangChain nổi bật.

Khung LangChain là một khung mã nguồn mở được sử dụng để phát triển nhiều ứng dụng khác nhau bằng cách tận dụng khả năng của mô hình ngôn ngữ lớn. Mục đích chính của nó là cung cấp giao diện chung cho nhiều ứng dụng mô hình ngôn ngữ lớn, làm cho việc phát triển ứng dụng mô hình ngôn ngữ lớn trở nên dễ dàng hơn. Nó có thể thực hiện nhận thức dữ liệu và tương tác môi trường, tức là cho phép mô hình ngôn ngữ kết nối với các nguồn dữ liệu khác nhau và cho phép mô hình ngôn ngữ tương tác với môi trường xung quanh.

Bài viết này sẽ tập trung vào các module lõi của khung LangChain và thực hành xây dựng hệ thống trả lời câu hỏi từ cơ sở dữ liệu kiến thức bằng cách sử dụng khung LangChain.

Mục tiêu cốt lõi của LangChain là kết nối nhiều mô hình ngôn ngữ lớn (như ChatGPT, LLaMA, v.v.) và tài nguyên bên ngoài (như Google, Wikipedia, Notion và Wolfram, v.v.), cung cấp các thành phần trừu tượng và công cụ để xử lý giao diện giữa đầu vào và đầu ra văn bản. Các mô hình ngôn ngữ và thành phần được kết nối thông qua “chuỗi” (Chain), giúp các nhà phát triển nhanh chóng phát triển hệ thống mẫu và ứng dụng.

Khung LangChain cung cấp các thành phần trừu tượng để xử lý mô hình ngôn ngữ lớn, cũng như nhiều triển khai cụ thể cho mỗi thành phần. Những thành phần này có thiết kế mô-đun, dễ sử dụng và có thể được sử dụng một cách thuận tiện mà không cần đến phần còn lại của khung LangChain.

Khung LangChain cũng cung cấp một số chuỗi có sẵn để hoàn thành các nhiệm vụ cao cấp cụ thể. Điều này làm cho việc bắt đầu trở nên dễ dàng hơn. Đối với các ứng dụng phức tạp hơn, khung LangChain cũng hỗ trợ tùy chỉnh chuỗi có sẵn hoặc xây dựng chuỗi mới.

Thông qua việc cung cấp các thành phần và chuỗi có sẵn, khung LangChain có thể làm giảm đáng kể độ khó trong việc phát triển ứng dụng mô hình ngôn ngữ lớn. Các nhà phát triển có thể tập trung vào logic kinh doanh mà không cần dành quá nhiều thời gian và công sức vào chi tiết kỹ thuật cơ bản.

LangChain cung cấp sáu giao diện chuẩn hóa và có thể mở rộng, có thể được tích hợp bên ngoài: giao diện đầu vào/đầu ra mô hình (Model I/O), giao diện để tương tác với mô hình ngôn ngữ lớn; giao diện kết nối dữ liệu (Data connection), giao diện để tương tác với dữ liệu của ứng dụng cụ thể; chuỗi (Chain), dùng cho chuỗi gọi cho các ứng dụng phức tạp; bộ nhớ (Memory), dùng để duy trì trạng thái ứng dụng giữa các lần chạy chuỗi; đại diện (Agent), mô hình ngôn ngữ hoạt động như một người suy luận để quyết định chuỗi hành động cần thực hiện; và callback (Callback), dùng để ghi lại và truyền tải bất kỳ bước nào giữa các chuỗi.

Dù mô hình ngôn ngữ lớn có thể trả lời tốt nhiều lĩnh vực, nhưng do kiến thức của chúng được tiêm vào thông qua quá trình huấn luyện mô hình ngôn ngữ và tinh chỉnh lệnh, nên khó tiếp thu nội dung từ cơ sở dữ liệu kiến thức cục bộ một cách hiệu quả. Thông qua khung LangChain, nội dung từ cơ sở dữ liệu kiến thức cục bộ có thể được hiệu quả kết hợp với khả năng trả lời câu hỏi của mô hình ngôn ngữ lớn.

Hệ thống trả lời câu hỏi từ cơ sở dữ liệu kiến thức dựa trên LangChain hoạt động theo các bước sau:

1. Thu thập dữ liệu kiến thức trong lĩnh vực để tạo cơ sở dữ liệu kiến thức, dữ liệu này cần bao phủ toàn diện nhu cầu đặt câu hỏi.
2. Tách văn bản từ dữ liệu phi cấu trúc trong cơ sở dữ liệu kiến thức, tạo ra các khối văn bản.
3. Sử dụng mô hình biểu diễn vector để tạo biểu diễn vector cho các khối văn bản và lưu trữ chúng trong cơ sở dữ liệu vector.
4. Tìm kiếm các khối văn bản liên quan nhất dựa trên biểu diễn vector của thông tin đầu vào của người dùng, sau đó hợp nhất mẫu câu hỏi và tin nhắn lịch sử với câu hỏi của người dùng trước khi đưa vào mô hình ngôn ngữ lớn.
5. Trả kết quả từ mô hình ngôn ngữ lớn cho người dùng.