Meta làm thế nào để chuyển đổi hàng loạt hình ảnh AI thành hoạt hình.

Triển khai Chức năng Hoạt hình của Meta AI

Mục tiêu của chúng tôi tại Meta AI là giúp mọi người nâng cao hiệu quả công việc theo những cách mới và kích thích sự sáng tạo thông qua trí tuệ nhân tạo sinh tạo (GenAI). Tuy nhiên, GenAI cũng đối mặt với thách thức trong việc mở rộng quy mô. Khi triển khai công nghệ GenAI mới tại Meta, chúng tôi vẫn đang nỗ lực cung cấp dịch vụ một cách nhanh chóng và hiệu quả nhất có thể.

Chức năng tạo hoạt hình của Meta AI cho phép người dùng tạo ra một đoạn phim ngắn từ một bức ảnh do AI tạo ra, đây là một thách thức về quy mô độc đáo. Để triển khai và vận hành quy mô lớn, mô hình của chúng tôi phải phục vụ hàng tỷ người dùng và hoàn thành nhiệm vụ một cách nhanh chóng – thời gian tạo ngắn, lỗi ít nhất đồng thời duy trì hiệu quả sử dụng tài nguyên.

Bài viết này trình bày cách chúng tôi đã sử dụng tối ưu hóa độ trễ, quản lý lưu lượng và các công nghệ mới khác để triển khai chức năng tạo hoạt hình của Meta AI.

Trước khi ra mắt chức năng tạo hoạt hình trên bộ sưu tập ứng dụng và trang web Meta AI, việc tạo mô hình hoạt hình nhanh chóng là một trong những ưu tiên hàng đầu của chúng tôi. Chúng tôi muốn người dùng có thể thấy yêu cầu của họ biến thành một đoạn phim chỉ trong vài giây. Điều này không chỉ quan trọng đối với người dùng mà còn giúp chúng tôi sử dụng ít GPU hơn để thực hiện nhiều tác vụ hơn, hỗ trợ chúng tôi mở rộng quy mô một cách bền vững. Công việc trước đây của chúng tôi bao gồm việc sử dụng công nghệ Video Diffusion để tạo hoạt hình biểu cảm, sử dụng Imagine Flash để tăng tốc độ tạo hình ảnh, và sử dụng bộ đệm khối để tăng tốc mô hình Diffusion, tất cả đều góp phần vào việc phát triển công nghệ mới để giảm độ trễ.

Tối ưu hóa Độ trễ

Một kỹ thuật tối ưu hóa đầu tiên là giảm độ chính xác của số thập phân. Chúng tôi chuyển đổi mô hình từ float32 sang float16 để tăng tốc độ suy luận. Lý do đầu tiên là bộ nhớ của mô hình giảm đi một nửa. Thứ hai, các phép tính số học 16 bit nhanh hơn so với 32 bit. Để tất cả các mô hình đều được hưởng lợi từ điều này, chúng tôi sử dụng bfloat16, một biến thể của float16 có đuôi số nhỏ hơn, được sử dụng cho cả quá trình huấn luyện và suy luận.

Quản lý Lưu lượng

Đầu tiên, chúng tôi xem xét dữ liệu lưu lượng và nhu cầu của sản phẩm AI được tạo ra trước khi ra mắt. Chúng tôi sử dụng thông tin này để ước lượng số lượng yêu cầu dự kiến và sử dụng thử nghiệm hiệu suất để xác định số lượng GPU cần thiết. Sau khi mở rộng quy mô, chúng tôi bắt đầu kiểm tra tải để xem chúng tôi có thể xử lý các mức lưu lượng khác nhau như thế nào, giải quyết các điểm nghẽn cho đến khi chúng tôi có thể xử lý lưu lượng dự kiến.

Giảm độ trễ

Để giải quyết vấn đề độ trễ cao, chúng tôi đã triển khai hệ thống quản lý lưu lượng. Hệ thống này thu thập dữ liệu lưu lượng hoặc tải từ dịch vụ và sử dụng dữ liệu này để tính toán bảng định tuyến. Mục tiêu chính của bảng định tuyến là giữ càng nhiều yêu cầu càng tốt ở cùng khu vực với người gửi yêu cầu, tránh tình trạng lưu lượng xuyên khu vực như chúng tôi đã gặp trước đây. Bảng định tuyến cũng sử dụng ngưỡng tải và vòng định tuyến để giảm tải cho các khu vực gần đầy.

Nâng cao Hiệu suất

Sau khi triển khai hệ thống quản lý lưu lượng, độ trễ đã trở lại mức chấp nhận được, nhưng tỷ lệ thành công giảm. Mỗi GPU chỉ có thể xử lý một yêu cầu tại một thời điểm, vì vậy chúng tôi không cho phép yêu cầu xếp hàng để duy trì độ trễ thấp. Chúng tôi đảm bảo rằng tổng số yêu cầu (đang chờ và đang xử lý) không vượt quá một yêu cầu, và máy chủ sẽ từ chối yêu cầu mới. Tuy nhiên, điều này dẫn đến nhiều lỗi khi chúng tôi gần đạt đến giới hạn công suất. Giải pháp đơn giản là sử dụng hàng đợi, nhưng điều này mang lại nhiều thách thức phức tạp.

Kết luận

Thông qua việc tối ưu hóa độ trễ, quản lý lưu lượng và các kỹ thuật mới khác, chúng tôi đã tạo ra một mô hình triển khai hiệu quả và quy mô lớn, có khả năng xử lý lưu lượng toàn cầu với độ khả dụng cao và tỷ lệ lỗi thấp.

Từ khóa:

• Trí tuệ nhân tạo sinh tạo
• Quản lý lưu lượng
• Tối ưu hóa độ trễ
• Meta AI
• Hệ thống định tuyến