Kuaishou phát hành I2V-Adapter mã nguồn mở, mô-đun nhẹ plug-and-play giúp biến hình ảnh tĩnh thành video động chỉ trong tích tắc.

I2V-Adapter: Đột Phá Trong Công Nghệ Sinh Video Từ Ảnh Static

Trong lịch sử, điện ảnh đã trải qua một hành trình dài từ những bộ phim câm màu đen trắng đến những bộ phim với hiệu ứng hình ảnh hoành tráng. Những bước tiến này bắt đầu từ một cuộc cá cược về việc ngựa có bốn chân rời khỏi mặt đất trong quá trình chạy. Sự kiện này đã tạo ra một cuộc cách mạng trong nghệ thuật khi các bức ảnh tĩnh được chuyển đổi thành video động, mở ra kỷ nguyên mới của điện ảnh.

Ngày nay, trong lĩnh vực thị giác máy tính, việc chuyển đổi từ ảnh tĩnh sang video động (I2V) cũng đối mặt với nhiều thách thức tương tự. Việc này đòi hỏi phải tinh chỉnh thông tin thời gian từ một bức ảnh tĩnh duy nhất và đảm bảo rằng video được tạo ra có độ chính xác và sự liền mạch cao. Để giải quyết vấn đề này, nhiều phương pháp hiện tại phụ thuộc vào cấu trúc mô hình phức tạp và dữ liệu huấn luyện lớn. Ví dụ như Stable Video Diffusion (SVD), thường sử dụng chiến lược mở rộng chiều của lớp đầu vào để đưa thông tin hình ảnh vào, nhưng điều này đòi hỏi phải thay đổi cấu trúc mô hình và huấn luyện lại toàn bộ mô hình, dẫn đến chi phí tính toán và thời gian đáng kể.

Để vượt qua rào cản này, nhóm nghiên cứu AI của Kuaishou đã phát triển I2V-Adapter, một mô-đun nhẹ nhàng cho phép chuyển đổi từ ảnh tĩnh sang video mà không cần thay đổi cấu trúc và tham số tiền huấn luyện của mô hình hiện tại. Kết quả này không chỉ chứng minh tiềm năng lớn của công nghệ I2V mà còn cung cấp hướng tiếp cận mới cho ngành nghiên cứu.

Cấu trúc và Hoạt động của I2V-Adapter

I2V-Adapter hoạt động bằng cách thêm ảnh tĩnh làm khung đầu tiên vào hệ thống cùng với nhiễu, sau đó truyền cả hai vào mạng. Trong tầng tự chú ý (Self-Attention) của khối không gian (Spatial Block), tất cả các khung sẽ tìm kiếm thông tin từ khung đầu tiên, giúp giữ nguyên ID của ảnh tĩnh ban đầu. Điều này đạt được bằng cách khởi tạo ma trận ánh xạ đầu ra bằng không và chỉ huấn luyện ma trận này và ma trận ánh xạ truy vấn (query mapping matrix) để tối ưu hóa hiệu suất huấn luyện.

Để tăng cường hiểu biết ngữ nghĩa của mô hình đối với thông tin ảnh, nhóm nghiên cứu còn giới thiệu một Content-Adapter, dựa trên IP-Adapter đã được huấn luyện trước, để đưa thông tin ngữ nghĩa của ảnh vào mô hình.

Tính Năng và Ứng Dụng Của I2V-Adapter

I2V-Adapter không chỉ linh hoạt trong việc kết hợp với các mô hình T2I tùy chỉnh mà còn có khả năng tương thích với các mô-đun khác như ControlNet, mang lại trải nghiệm sinh video kiểm soát cao. Mô-đun này cũng đã được tích hợp vào nền tảng Dimensity của MediaTek, cho phép người dùng chuyển đổi ảnh tĩnh thành video động một cách đơn giản và thú vị.

Để đánh giá chất lượng video được tạo ra, nhóm nghiên cứu đã thiết lập các chỉ số định lượng như DoverVQA (chấm điểm thẩm mỹ), CLIPTemp (khả năng nhất quán khung đầu tiên), FlowScore (độ mạnh chuyển động) và WarppingError (lỗi chuyển động). Kết quả cho thấy I2V-Adapter đạt được kết quả xuất sắc trên tất cả các chỉ số, đặc biệt là trong việc tạo ra video với độ động cao và độ chính xác chuyển động tốt.

Kết Luận

I2V-Adapter đã mở ra một lối đi mới trong lĩnh vực chuyển đổi từ ảnh tĩnh sang video, cung cấp một giải pháp nhẹ nhàng mà vẫn giữ được chất lượng cao. Với khả năng tương thích mạnh mẽ và khả năng tùy chỉnh, I2V-Adapter hứa hẹn sẽ tạo ra nhiều ứng dụng thú vị trong tương lai.