Alibaba Cloud nâng cấp mạnh mẽ, chương trình AI lập trình viên có khả năng tự sửa lỗi và phát triển ứng dụng đã ra mắt.

Trong lĩnh vực quản lý vận hành thông minh, công nghệ mô hình lớn đang dẫn dắt quy trình từ việc hỗ trợ ra quyết định đến việc chuyển đổi hoàn toàn sang vận hành không người lái. Sự phát triển nhanh chóng của ngành đã không chỉ nâng cao hiệu quả mà còn giảm thiểu rủi ro vận hành một cách hiệu quả.

Để đi sâu vào việc ứng dụng và thách thức của mô hình lớn trong các tình huống vận hành, QCon Thượng Hải sẽ diễn ra từ ngày 18 đến 19 tháng 10, chúng tôi đặc biệt mời ông Giang Yánhui, kiến trúc sư trưởng về quản lý vận hành thông minh của Huawei Cloud, chia sẻ về “Tổng quan và thực hành về mô hình lớn trong việc số hóa quản lý vận hành của Huawei Cloud”. Trong cuộc phỏng vấn trước buổi hội nghị, ông Giang đã giới thiệu chi tiết về cách Huawei Cloud sử dụng sự kết hợp giữa mô hình lớn và mô hình nhỏ để cải thiện mức độ tự động hóa và trí tuệ hóa trong việc xử lý sự cố, cũng như đưa ra cái nhìn về xu hướng tương lai của quản lý vận hành thông minh, bao gồm vận hành không người lái, sự phối hợp kỹ thuật và sự tích hợp sâu sắc giữa con người và máy móc.

Ngoài ra, tại QCon Thượng Hải lần này, chúng tôi cũng đã thiết lập các chuyên đề về hạ tầng mô hình lớn và tối ưu hóa năng lực tính toán, thực hành phát triển ứng dụng AI, tái cấu trúc quy trình làm việc kỹ thuật bằng AI, và thực hành kỹ thuật gốc đám mây. Để tìm hiểu thêm về nội dung thú vị khác, bạn có thể nhấp vào liên kết gốc để xem.

Ông Giang: Xử lý sự cố là một quá trình rất phức tạp, từ việc đánh giá tác động ban đầu của sự cố, đến việc chẩn đoán, khôi phục, xác nhận sự cố và tổng kết sau sự cố, tất cả đều liên quan đến nhiều công việc thủ công, ví dụ như tra cứu kiến thức quản lý vận hành, tìm kiếm thông tin quản lý vận hành, ra quyết định chẩn đoán quản lý vận hành và tổng hợp nội dung quản lý vận hành. Áp dụng sơ khai của mô hình lớn chủ yếu tập trung vào việc hiểu và tạo ra nội dung, chúng tôi chủ yếu sử dụng mô hình lớn để đề xuất dự án giải quyết sự cố, tóm tắt báo cáo sự cố và quản lý quy định sự cố. Đồng thời, chúng tôi cũng sử dụng mô hình lớn để nhận biết ý định truy vấn của người dùng, thực hiện tìm kiếm thông tin quản lý vận hành theo hình thức trò chuyện, ví dụ như tra cứu chỉ số giám sát, tra cứu cảnh báo.

Ông Giang: Thách thức lớn nhất chính là xác định và kiểm soát vấn đề ảo tưởng của mô hình lớn. Chúng tôi chủ yếu kết hợp suy nghĩ giữa mô hình lớn và mô hình nhỏ, ví dụ: ở giai đoạn nhận biết ý định quản lý vận hành, chúng tôi đầu tiên phân loại theo độ tương đồng của embedding văn bản, tiếp theo là điều chỉnh ý định của mô hình lớn cho những ý định không thể phân biệt. Đồng thời, chúng tôi cũng đào tạo mô hình nhỏ ý định dựa trên dữ liệu bất thường để điều chỉnh phân loại, cuối cùng đạt được tỷ lệ chính xác nhận biết ý định là 80%. Điểm quan trọng là, giải pháp này của chúng tôi có thể cải tiến một cách liên tục với chi phí thấp, tránh phụ thuộc hoàn toàn vào mô hình lớn dẫn đến việc không thể kiểm soát và tối ưu hóa xác định mục tiêu một cách chắc chắn. Do đó, khi thiết kế một giải pháp, ngoài việc xem xét khả năng tương thích, chúng tôi cũng cần xem xét độ chính xác và độ tin cậy của công nghệ để đảm bảo rằng không có giai đoạn nào mất kiểm soát.

Ông Giang: Chúng tôi chủ yếu bắt đầu từ việc áp dụng thực tế, trong việc chọn các tình huống quản lý vận hành có ứng dụng mô hình lớn, chúng tôi đã xác định hai tình huống có tiêu thụ năng lượng cao và phù hợp với AI, đó là xử lý sự kiện và xử lý sự cố. Đối với phần kiến thức, chúng tôi xác định bản đồ kiến thức dựa trên mục tiêu của mình, tiếp theo là xác định chủ sở hữu kiến thức và người chịu trách nhiệm kiến thức, đồng thời xây dựng trung tâm quản lý kiến thức và đội ngũ ứng dụng kiến thức, có thể nhìn thấy toàn bộ kiến thức từ đầu đến cuối và hiệu quả tiêu thụ kiến thức của chúng tôi. Phần ngữ liệu ban đầu cũng giữ mô hình phát triển nhanh chóng, ưu tiên xây dựng một loạt các ngữ liệu dựa trên ý định của con người một cách nhanh chóng, nhưng hiện tại chúng tôi đang xây dựng cơ sở dữ liệu ngữ liệu công cộng về quản lý vận hành, vì chúng tôi cho rằng giai đoạn tiếp theo của việc áp dụng mô hình lớn trong quản lý vận hành sẽ chuyển từ mô hình sang dữ liệu. Hiện tại, chúng tôi tuân theo chuỗi quy trình toàn bộ vòng đời xây dựng và quản lý dữ liệu, kiểm soát nghiêm ngặt tỷ lệ và chất lượng dữ liệu ngữ liệu, đồng thời quản lý việc tiêu thụ dữ liệu ngữ liệu.

Ông Giang: Đầu tiên, việc đề xuất và tạo ra dự án giải quyết sự cố chủ yếu kết hợp với cách RAG để thực hiện tìm kiếm tự động dự án giải quyết sự cố và tóm tắt nội dung, giúp người xử lý sự cố nhanh chóng tìm thấy dự án. Thứ hai, tóm tắt thông tin sự cố: Ngay sau khi sự cố xảy ra, chúng tôi kết hợp mô hình lớn để tóm tắt nhiều loại thông tin, ví dụ như cảnh báo, thay đổi, chỉ số giám sát, tự động phân tích dữ liệu để tạo ra tóm tắt thông tin sự cố, giúp mọi người hiểu toàn diện về sự cố sớm, đây là điểm cốt lõi là thay thế con người, trong quá khứ, để tóm tắt thông tin sự cố, cần nhiều người phải chuyển đổi giữa các hệ thống khác nhau để tra cứu, sau đó tổng hợp, bao gồm cả việc tạo ra dự án giải quyết, hiện tại thông qua việc tóm tắt tự động bằng mô hình lớn, thay thế nhiều người xử lý vấn đề tương tự.

Huawei Cloud định vị Công cụ hỗ trợ quản lý vận hành là một trợ lý, vì LLM chủ yếu hoạt động trong việc hiểu và tạo ra nội dung, nhưng một trợ lý cần xử lý toàn bộ các tác vụ, ví dụ như tra cứu thay đổi. Hiện tại chúng tôi đã xây dựng nhiều đại diện (agents) để giải quyết các tác vụ toàn bộ, quá trình này bao gồm việc hiểu ý định và tìm kiếm kiến thức, cũng như việc hiểu và tạo ra nội dung sử dụng LLM. Chúng tôi chủ yếu xây dựng một ngăn xếp Công cụ hỗ trợ quản lý vận hành, cốt lõi là kết hợp công nghệ LLM và đại diện AI, sắp xếp chúng lại để cuối cùng thông qua một trợ lý đầu cuối kết nối với người dùng, quá trình cải thiện hiệu suất chủ yếu là giảm sự tham gia của con người, làm cho toàn bộ tác vụ ngày càng tự động và thông minh hơn.

Ông Giang: Hỏi đáp kiến thức chủ yếu được xây dựng dựa trên tư duy RAG, tra cứu thông tin chủ yếu chúng tôi áp dụng mô hình lớn để nhận biết ý định của người dùng, đồng thời cũng bao gồm việc trích xuất một phần từ trường ý định.

Ông Giang: Ở đây chúng tôi chủ yếu sử dụng trong việc chẩn đoán sự cố mạng, vì chẩn đoán sự cố là một quá trình phức tạp, liên quan đến việc tra cứu nhiều thông tin, cảnh báo, thay đổi, chỉ số, cũng như logic chẩn đoán. Mô hình lớn do bản chất thiếu khả năng ra quyết định và khả năng suy luận, ở đây chúng tôi chủ yếu sử dụng COT để tự động tạo ra các bước chẩn đoán sự cố, sau đó trong quá trình thực thi các bước này, chúng tôi chủ yếu sử dụng mô hình nhỏ chẩn đoán để thực hiện các tính toán chẩn đoán phức tạp, ví dụ như cây quyết định lỗi truyền thống hoặc mô hình đánh giá bất thường, mô hình lớn dựa trên kết quả chẩn đoán để tóm tắt nội dung, đưa ra nguyên nhân cụ thể của sự cố. Các điểm công nghệ chính ở đây là thiết kế COT, cùng với việc sắp xếp động chuỗi thực thi trong quá trình ra quyết định chẩn đoán, cũng như sự phối hợp giữa mô hình lớn và mô hình nhỏ.

Ông Giang: Quản lý vận hành thông minh là một chủ đề rộng lớn, quản lý vận hành thông minh truyền thống chủ yếu dựa trên dữ liệu lớn và AI để tăng cường khả năng của các công cụ quản lý vận hành truyền thống, xây dựng một số khả năng phân tích cấp cao. Hiểu rõ ý định xác định và động cơ RAG chủ yếu hướng tới việc xây dựng khả năng cần thiết cho Công cụ hỗ trợ quản lý vận hành của chúng tôi sau khi mô hình lớn được áp dụng. Về lâu dài, đây sẽ là hai công nghệ, việc nâng cao độ chính xác ra quyết định tôi cho rằng vẫn cần phụ thuộc vào dữ liệu và mô hình cơ bản, không ngừng cải tiến dữ liệu, đồng thời không ngừng đón nhận mô hình cơ bản, những điều này sẽ không thay đổi, và cũng cần liên tục cải tiến.

Ông Giang: Trước đó đã nói khá nhiều, Huawei Cloud chủ yếu hướng đến vấn đề cụ thể, trước tiên xác định không gian vấn đề, sẽ không bắt đầu bằng cách áp dụng mô hình lớn trực tiếp, vì dữ liệu ngữ liệu ban đầu ít, chúng tôi đã sử dụng mô hình nhỏ dẫn đầu và mô hình lớn hỗ trợ, giống như việc kiểm soát, cải tiến liên tục. Giai đoạn tiếp theo của chúng tôi có thể sẽ sử dụng mô hình lớn dẫn đầu và mô hình nhỏ hỗ trợ. Nhưng cốt lõi cần xây dựng ngữ liệu, hiện tại chúng tôi đang mở rộng ngữ liệu theo tỷ lệ 10 lần, 20 lần, thậm chí có thể là 100 lần trong tương lai. Ngoài ra, tỷ lệ chính xác nhận biết ý định cuối cùng của chúng tôi cần đạt 90% trở lên, do đó xác định là bước đầu tiên, không có gì cần nhanh chóng điều chỉnh.

Ông Giang: Với sự phát triển nhanh chóng của mô hình lớn trong ngành, tôi cho rằng có ba xu hướng chính. Xu hướng đầu tiên là tự động hóa, quản lý vận hành thông minh từ việc hỗ trợ vận hành truyền thống, đến việc ra quyết định, cuối cùng có thể thay thế bạn để làm việc, cốt lõi là tự động hóa, trí tuệ thông minh được tích hợp vào quy trình vận hành. Xu hướng thứ hai là công nghệ quản lý vận hành thông minh, sự phối hợp giữa thuật toán quản lý vận hành truyền thống và công nghệ mô hình lớn sẽ là hình thái lâu dài, chủ yếu dựa trên cân nhắc về chi phí và quy luật phát triển. Xu hướng thứ ba là công nghệ kết hợp con người và máy móc, với việc áp dụng mô hình lớn, bên cạnh cách AI giao tiếp tốt giữa máy và con người cũng là một phần rất quan trọng, ở đây tôi rất lạc quan về trợ lý số quản lý vận hành.

Kế hoạch dài hạn của Huawei Cloud hướng tới hai phần, Huawei Cloud của chúng tôi và khách hàng bên ngoài, chúng tôi đã xây dựng một “Não quản lý vận hành”, cốt lõi là trung tâm ra quyết định thông minh trong lĩnh vực quản lý vận hành, bao gồm xây dựng dữ liệu dưới đáy, xây dựng thuật toán mô hình lớn và mô hình nhỏ, ra quyết định thông minh và động cơ xử lý đa tác nhân thông minh, cũng như các ứng dụng thông minh khác ở phía trên, mô hình cốt lõi là xây dựng toàn diện quản lý vận hành thông minh, mục tiêu chính là đảm bảo sự ổn định tổng thể của Huawei Cloud và khách hàng, đồng thời xây dựng hiệu suất quản lý vận hành cực kỳ hiệu quả dựa trên trợ lý số quản lý vận hành.

**Từ khóa:** Trí tuệ nhân tạo, Mô hình lớn, Quản lý vận hành, Công nghệ, Tự động hóa