Làm thế nào để tóm tắt nhanh hơn 100 trang tài liệu trong 1 giây? Trình duyệt QQ lần đầu tiết lộ chi tiết kỹ thuật thực hiện mô hình lớn.

Giải pháp cho việc đọc và tóm tắt tài liệu dài bằng QQ Browser

Trong thế giới ngày càng phát triển của công nghệ thông tin, việc quản lý và hiểu thông tin từ các tài liệu dài đã trở thành một thách thức lớn. QQ Browser, một nền tảng tổng hợp thông tin với hơn 400 triệu người dùng hàng tháng, đã ra mắt một công cụ hữu ích gọi là Trợ lý Đọc Tài liệu, nhằm giúp người dùng tiếp cận thông tin một cách tự do và chủ động hơn.

Trợ lý Đọc Tài liệu nằm trong danh mục “Giúp đỡ nhỏ”, một loạt các công cụ giúp tăng cường hiệu suất làm việc và học tập của người dùng. Công cụ này đặc biệt hữu ích khi người dùng cần hiểu và tóm tắt các tài liệu dài mà không mất quá nhiều thời gian.

Trước đây, việc đọc và tóm tắt tài liệu dài thường gặp khó khăn do thiếu khả năng tương tác và cập nhật liên tục. Vì vậy, QQ Browser đã phát triển Trợ lý Đọc Tài liệu, giúp người dùng có thể tự do và chủ động hơn trong việc thu thập thông tin. Đồng thời, cũng tuân theo triết lý “Công nghệ hướng thiện” của Tencent, công cụ này cũng sẽ có chế độ quan tâm và truy cập dễ dàng, giúp mọi người đều có thể đọc dễ dàng hơn.

Những tiến bộ trong lĩnh vực ngôn ngữ máy tính bắt đầu từ những năm 1980, ban đầu dựa trên phương pháp thống kê để tính toán xác suất từ vựng trong kho dữ liệu. Tuy nhiên, với số lượng từ vựng lớn, đặc biệt là tiếng Trung, việc xử lý không gian thống kê trở nên rất phức tạp.

Từ năm 2003, Bingo đã giới thiệu mạng nơ-ron vào lĩnh vực NLP, đạt đỉnh cao với mô hình Word2Vec vào năm 2013. Phương pháp này phân bổ một biểu diễn vector cố định (embedding) cho mỗi từ vựng, khắc phục được nhược điểm của các phương pháp thống kê trước đó. Tuy nhiên, phương pháp này vẫn còn vấn đề khi cùng một từ có nhiều nghĩa nhưng chỉ có một biểu diễn vector duy nhất.

Giai đoạn thứ ba bắt đầu với sự xuất hiện của BERT, cho phép cùng một từ có các biểu diễn vector khác nhau trong các ngữ cảnh khác nhau, nhờ đó cải thiện đáng kể khả năng chuyển đổi của mô hình và thay đổi cách học của NLP từ mô hình end2end sang mô hình tiền huấn luyện + huấn luyện lại.

Cuối cùng, giai đoạn của các mô hình ngôn ngữ lớn đã đến. Năm 2017, Google đã giới thiệu mô hình Transformer với bài báo “Attention is All You Need”. Từ đó, hầu hết các mô hình ngôn ngữ lớn đều dựa trên cấu trúc Transformer.

Trong giai đoạn từ 2018 đến 2020, các mô hình ngôn ngữ lớn đã trải qua giai đoạn khám phá. Mặc dù cấu trúc Transformer đã trở thành chuẩn mực thống nhất, nhưng các phần quan trọng như Encoder và Decoder vẫn được các nhà nghiên cứu khám phá theo các cách khác nhau. Ví dụ, mô hình GPT của OpenAI là mô hình Decoder chỉ, tập trung vào nhiệm vụ tạo ra ngôn ngữ tự nhiên, trong khi mô hình BERT của Google chủ yếu sử dụng phần Encoder, tập trung vào nhiệm vụ hiểu ngôn ngữ.

Năm 2021, Google đã giới thiệu mô hình FLAN và kỹ thuật huấn luyện hướng dẫn (Instruct Tuning), cải thiện đáng kể khả năng hiểu và thực hiện các lệnh cụ thể của mô hình. Đến năm 2022, mô hình InstructGPT của OpenAI đã tích hợp kỹ thuật huấn luyện hướng dẫn và học tăng cường, giúp tạo ra câu trả lời phù hợp hơn với mong đợi của con người.

Mô hình Trợ lý Đọc Tài liệu của QQ Browser được phát triển dựa trên mô hình Tencent Hunchun, một mô hình ngôn ngữ chung toàn diện được phát triển nội bộ với quy mô hàng nghìn tỷ tham số, và dữ liệu huấn luyện lên tới 2 nghìn tỷ token. Mô hình này có khả năng sáng tạo văn bản, suy luận logic trong ngữ cảnh phức tạp và thực hiện các tác vụ một cách đáng tin cậy.

Để giải quyết vấn đề tóm tắt tài liệu dài, QQ Browser đã áp dụng một phương pháp kết hợp giữa trích xuất và tạo ra nội dung. Đầu tiên, các câu quan trọng nhất trong tài liệu được nhận dạng và trích xuất, sau đó mô hình ngôn ngữ lớn được sử dụng để tóm tắt và tổng hợp các câu đã trích xuất này. Phương pháp này chỉ cần gọi mô hình một lần, giảm thiểu thời gian và không bỏ sót thông tin quan trọng.

Để cải thiện hiệu quả thu thập thông tin, sản phẩm sẽ gợi ý một số câu hỏi mà người dùng có thể đặt ra. Phương pháp này dựa trên thông tin từ tài liệu gốc để tạo ra các câu hỏi. Tuy nhiên, phương pháp này thường tạo ra các câu hỏi đơn giản và gần giống với cách diễn đạt trong tài liệu gốc.

Đối mặt với vấn đề này, chúng tôi đã đề xuất một thuật toán tiến hóa mới – lai ghép. Thuật toán này cho phép tạo ra các câu hỏi phức tạp hơn từ hai câu hỏi cơ bản, giúp cải thiện hiệu suất và đa dạng hóa chủ đề của các mẫu.

Kết luận, Trợ lý Đọc Tài liệu của QQ Browser đã đưa ra một giải pháp hiệu quả để giúp người dùng hiểu và tóm tắt các tài liệu dài một cách dễ dàng và chính xác. Với sự hỗ trợ của công nghệ tiên tiến và triết lý “Công nghệ hướng thiện” của Tencent, công cụ này chắc chắn sẽ mang lại trải nghiệm đọc tốt hơn cho người dùng.

Từ khóa

• Trợ lý Đọc Tài liệu
• QQ Browser
• Công nghệ hướng thiện
• Transformer
• Lai ghép