Chỉ cần một câu thay đổi hình ảnh! Mô hình chỉnh sửa hình ảnh tổng quát SeedEdit của ByteDance đã ra mắt thử nghiệm.

Ngày 11 tháng 11, đội nhóm Đại Mô Hình Đậu Bào của ByteDance đã công bố mô hình chỉnh sửa hình ảnh tổng quát mới nhất của họ, SeedEdit. Theo thông tin được công bố, SeedEdit cho phép người dùng dễ dàng chỉnh sửa hình ảnh chỉ bằng một câu lệnh, bao gồm việc sửa chữa, thay đổi trang phục, làm đẹp, chuyển đổi phong cách và thêm hoặc xóa các yếu tố trong khu vực chỉ định. Hiện tại, mô hình này đang được thử nghiệm trên nền tảng máy tính để bàn của Đậu Bào và trang web Jiemeng.

Người dùng có thể tiếp tục chỉnh sửa hình ảnh được tạo ra bởi Đậu Bào bằng cách nhấp vào nút “Tiếp tục chỉnh sửa”, sau đó nhập một lệnh văn bản đơn giản để điều chỉnh nền hoặc chủ thể của hình ảnh. Ví dụ, nếu một người dùng tạo một hình ảnh của một con chó đang chạy trên cỏ, họ có thể nhập “Thay đổi nền thành bãi biển” để nhận được một hình ảnh đã được chỉnh sửa dựa trên hình ảnh gốc. Ngoài ra, người dùng cũng có thể tải lên hình ảnh tham khảo và tiến hành xử lý lại trên chức năng tạo hình ảnh của Đậu Bào hoặc Jiemeng.

SeedEdit được coi là mô hình chỉnh sửa hình ảnh tổng quát đầu tiên được sản phẩm hóa tại Trung Quốc. Trước đây, các nghiên cứu học thuật đã tập trung nhiều vào việc sinh hình ảnh từ văn bản và chỉnh sửa hình ảnh, nhưng việc chỉnh sửa hình ảnh sinh ra từ văn bản luôn là một thách thức, đặc biệt là khi chỉnh sửa lại, độ ổn định và chất lượng hình ảnh thường bị giảm sút. Năm nay, Dalle3 và Midjourney đã lần lượt ra mắt các tính năng chỉnh sửa hình ảnh sinh ra từ văn bản, cải thiện đáng kể chất lượng hình ảnh so với các giải pháp trước đó, nhưng vẫn còn thiếu khả năng phản hồi chính xác đối với lệnh chỉnh sửa của người dùng và duy trì thông tin hình ảnh gốc.

Đội nhóm Đại Mô Hình Đậu Bào của ByteDance cho biết, trọng tâm của nhiệm vụ chỉnh sửa hình ảnh nằm ở việc tìm ra sự cân bằng tốt nhất giữa việc duy trì hình ảnh gốc và tạo ra hình ảnh mới, và ý tưởng này đã được áp dụng xuyên suốt quá trình thiết kế và tối ưu hóa mô hình.

Theo báo cáo, trong quá trình sản xuất dữ liệu, SeedEdit đã giải quyết vấn đề thiếu hụt dữ liệu bằng cách thiết kế lại cấu trúc mô hình và sử dụng phương pháp sản xuất dữ liệu đa mô hình, đa quy mô và đa tiêu chuẩn, giúp giải quyết vấn đề về số lượng dữ liệu, đa dạng dữ liệu và chất lượng dữ liệu. Là một mô hình chuyên biệt dành cho nhiệm vụ chỉnh sửa hình ảnh, SeedEdit đã đạt được một số bước tiến trong việc cải thiện tính chung, kiểm soát và chất lượng hình ảnh.

Trước đây, công nghệ trong ngành chủ yếu được tối ưu hóa cho các nhiệm vụ chuyên biệt, ví dụ như xóa hoặc thay thế biểu cảm, kiểu tóc, hoặc thiết lập luồng công việc riêng để điều chỉnh phong cách. Mỗi khi có nhiệm vụ chỉnh sửa mới, cần thu thập dữ liệu tương ứng để huấn luyện và phát triển. Trái lại, SeedEdit là một mô hình chỉnh sửa hình ảnh tổng quát, thích hợp cho tất cả các nhiệm vụ chỉnh sửa, hỗ trợ cho những ý tưởng sáng tạo của người dùng mà không cần phải huấn luyện lại hoặc tối ưu hóa. So với các phương pháp tương tự trong ngành (như EMU Edit và Ultra Edit), SeedEdit đã thể hiện hiệu suất vượt trội hơn.

Các đánh giá benchmark như HQ-Edit cho thấy: SeedEdit có khả năng hiểu các lệnh tương đối mơ hồ và thực hiện chỉnh sửa chi tiết với tỷ lệ giữ nguyên hình ảnh cao hơn và tỷ lệ thành công cao hơn.

Ngay cả trong các tác vụ thông thường, SeedEdit cũng có lợi thế so với các mô hình chuyên gia. Ví dụ, trong tác vụ phân đoạn hình ảnh phổ biến nhất mà người dùng thường sử dụng, như cắt và thay đổi nền, SeedEdit tạo ra hình ảnh có phong cách tự nhiên mà không có cảm giác dán nhãn; trong các tác vụ chấm dứt, chỉnh sửa, thêm và xóa các yếu tố, so với việc chỉnh sửa thủ công, SeedEdit thông qua việc chỉ định bằng ngôn ngữ đã tiết kiệm đáng kể thời gian của người dùng, đặc biệt là đối với các khu vực chấm dứt tinh vi như rãnh hoặc sợi tóc.

Từ đó, SeedEdit thông qua kiến trúc mô hình đột phá, thu thập, xây dựng và lọc dữ liệu đa quy mô, đa quy tắc, có thể hiểu rõ hơn ý định của người dùng và đối sánh với mô hình sinh hình ảnh diffusion, nâng cao đáng kể độ chính xác của việc chỉnh sửa hình ảnh và duy trì chất lượng hình ảnh cao.

Dựa trên mô hình sinh hình ảnh văn bản Đậu Bào, hiện tại SeedEdit hỗ trợ đầu vào bằng tiếng Trung và tiếng Anh, và còn có thể phản hồi chính xác đối với các thành ngữ và tên gọi chuyên môn bằng tiếng Trung. Trong tương lai, SeedEdit sẽ mở rộng chức năng chỉnh sửa phức tạp nhiều vòng.

Đội nhóm Đại Mô Hình Đậu Bào của ByteDance cho biết, hiện tại, hiệu quả chỉnh sửa hình ảnh của SeedEdit đối với hình ảnh được tạo ra từ mô hình tốt hơn so với hình ảnh thực tế, đồng thời vẫn còn không gian để cải thiện trong việc kiểm soát phức tạp và tinh vi hơn. Trong tương lai, SeedEdit sẽ tiếp tục tối ưu hóa và khám phá trong việc duy trì hình ảnh thực tế, duy trì ID, độ chính xác chỉnh sửa và tạo ra các loại hình ảnh truyện dài, truyện tranh, nâng cao tỷ lệ sử dụng và trải nghiệm người dùng, hỗ trợ người dùng tạo ra nội dung thú vị một cách hiệu quả hơn.

Ngày 13 và 14 tháng 12, AICon sẽ tập hợp hơn 70 chuyên gia trong lĩnh vực AI và công nghệ, thảo luận sâu sắc về các chủ đề tiền phong như mô hình lớn và suy luận, đại diện AI, đa mô hình và trí tuệ cơ thể. Ngoài ra, còn có các diễn đàn tròn bàn phong phú và các hoạt động triển lãm, đáp ứng sự tò mò và tưởng tượng của bạn về thực hành mô hình lớn. Hiện đang có chương trình giảm giá 20% cho đến hết hạn, số lượng có hạn, hãy quét mã để tìm hiểu thêm chi tiết, đừng bỏ lỡ cơ hội học tập và trao đổi tuyệt vời này!

**Từ khóa:**
– Đại Mô Hình
– SeedEdit
– Chỉnh sửa hình ảnh
– Trí tuệ nhân tạo
– ByteDance