Nơi nào cần động vào, nơi đó! Tencent hợp tác với Tsinghua và Đại học Hong Kong giới thiệu mô hình video sinh từ hình ảnh hoàn toàn mới.

Đột phá trong Công nghệ Video Từ Ảnh: Follow-Your-Click

Bạn có bao giờ tưởng tượng rằng chỉ cần một cú nhấp chuột, hình ảnh tĩnh của Pikachu có thể trở nên sống động với nụ cười rạng rỡ? Hay tách cà phê có thể phả ra hơi nóng liên tục? Hoặc thậm chí là cô gái xinh đẹp có thể nháy mắt về phía bạn? Tất cả những điều này đều trở thành hiện thực nhờ vào công nghệ mới được phát triển bởi nhóm nghiên cứu từ Tencent Huyun, Đại học Thanh Hoa và Đại học Khoa học và Công nghệ Hồng Kông – Follow-Your-Click.

Cách sử dụng đơn giản

Follow-Your-Click cho phép người dùng tạo video từ ảnh một cách dễ dàng. Chỉ cần tải lên một bức ảnh, nhấp chọn vùng muốn chuyển động, và thêm một số từ khóa ngắn gọn (như trạng thái cảm xúc hoặc hành động) để mô tả ý định của bạn. Kết quả là, vùng đã chọn sẽ trở nên hoạt hình và chuyển động theo mong muốn.

Nghiên cứu và Phát triển

Mô hình này dựa trên việc sử dụng công cụ phân đoạn ngữ nghĩa hình ảnh Segment-Anything, giúp chuyển đổi thao tác nhấp chuột thành một mặt nạ nhị phân, làm điều kiện đầu vào cho mạng lưới thần kinh. Nhóm nghiên cứu cũng đã phát triển chiến lược mặt nạ khung hình đầu tiên hiệu quả, cải thiện chất lượng video và khả năng xử lý biến dạng.

Để tăng cường khả năng nhận diện văn bản, nhóm đã tạo ra tập dữ liệu WebVid-Motion, tập trung vào việc nhấn mạnh các hành động, biểu cảm và chuyển động của đối tượng. Ngoài ra, họ còn phát triển mô-đun tăng cường chuyển động, giúp mô hình hiểu và phản hồi tốt hơn với các từ khóa ngắn gọn.

Kết quả và Ứng dụng

Kết quả thử nghiệm cho thấy Follow-Your-Click có thể kiểm soát chính xác vùng chuyển động trong video. Ví dụ, khi nhấp vào một vật thể, nó có thể điều khiển chuyển động như phóng tên lửa hoặc lái xe. Nó cũng có thể tạo ra các biểu cảm như cười lớn, tức giận hoặc kinh ngạc.

Thậm chí, khi nhấp vào một con chim, bạn có thể yêu cầu nó lắc đầu, vỗ cánh hoặc nhảy múa. Tuy nhiên, do sự phức tạp của một số hành động và thiếu hụt mẫu huấn luyện, mô hình vẫn gặp khó khăn trong việc tái tạo chuyển động phức tạp của con người.

Phát triển và Ứng dụng trong Tương lai

Follow-Your-Click đã được áp dụng trong nhiều dự án sáng tạo, bao gồm dự án video gốc của tờ Nhân Dân nhật báo. Với tiềm năng to lớn của mình, công nghệ này chắc chắn sẽ mở ra một kỷ nguyên mới trong lĩnh vực video từ ảnh, mang lại trải nghiệm mới mẻ cho người dùng.

Tóm tắt

Follow-Your-Click là một bước tiến đáng kể trong lĩnh vực công nghệ video từ ảnh, cho phép người dùng tạo ra video một cách đơn giản và linh hoạt chỉ bằng cách nhấp chuột và thêm từ khóa. Mặc dù vẫn còn những thách thức cần vượt qua, công nghệ này đang mở ra nhiều cơ hội mới trong tương lai.

Hiển thị Hình Ảnh

Từ Khóa

• Công nghệ Video Từ Ảnh
• Follow-Your-Click
• Tencent Huyun
• Đại học Thanh Hoa
• Đại học Khoa học và Công nghệ Hồng Kông