CVPR 2024 | Chỉnh sửa cảnh 3D chính xác từ văn bản hoặc hình ảnh, Meitu, Xinxin, Beihang và Zhongda cùng đề xuất phương pháp chỉnh sửa 3D CustomNeRF.

**Nhận diện và chỉnh sửa cảnh 3D dựa trên mô hình phân tán được tinh chỉnh**

Trong những năm gần đây, công nghệ Neural Radiance Field (NeRF) đã tạo ra bước đột phá trong việc tái tạo cảnh 3D từ các bức ảnh. Tuy nhiên, việc chỉnh sửa cảnh 3D theo mô tả văn bản hoặc hình ảnh tham chiếu vẫn còn nhiều thách thức. Để giải quyết vấn đề này, Nhóm Nghiên cứu Hình ảnh Mỹ (MT Lab) đã hợp tác với Viện Khoa học Thông tin và Công trình Trung Quốc, Đại học Bắc Kinh và Đại học Trung Sơn để phát triển CustomNeRF, một phương pháp chỉnh sửa cảnh 3D mới.

CustomNeRF cho phép chỉnh sửa cảnh 3D dựa trên cả mô tả văn bản và hình ảnh tham chiếu. Phương pháp này sử dụng một mô hình phân tán được tinh chỉnh để tạo ra các chỉnh sửa chính xác và linh hoạt. CustomNeRF bao gồm ba bước chính:

1. **Phân biệt vùng tiền cảnh và hậu cảnh**: Bước đầu tiên là sử dụng bộ lọc Grouded SAM để xác định vùng tiền cảnh cần chỉnh sửa trong mỗi bức ảnh. Điều này giúp phân biệt rõ ràng giữa vùng tiền cảnh và hậu cảnh, đảm bảo rằng chỉ có vùng tiền cảnh được chỉnh sửa mà không ảnh hưởng đến hậu cảnh.

2. **Chỉnh sửa theo mô tả văn bản hoặc hình ảnh tham chiếu**: Tiếp theo, CustomNeRF sử dụng mô hình phân tán được tinh chỉnh để chỉnh sửa cảnh 3D dựa trên mô tả văn bản hoặc hình ảnh tham chiếu. Mô hình này được huấn luyện để hiểu và áp dụng các chỉnh sửa cụ thể dựa trên thông tin từ văn bản hoặc hình ảnh tham chiếu.

3. **Giáo dục chính quy hóa loại**: Cuối cùng, CustomNeRF sử dụng một chiến lược giáo dục chính quy hóa loại để giảm thiểu sự không nhất quán về hình học trong quá trình chỉnh sửa. Điều này giúp đảm bảo rằng các chỉnh sửa được thực hiện một cách đồng đều và nhất quán trên tất cả các góc nhìn của cảnh 3D.

Nhóm nghiên cứu đã so sánh kết quả của CustomNeRF với các phương pháp cơ sở khác và thấy rằng CustomNeRF đạt được kết quả tốt hơn trong việc chỉnh sửa cảnh 3D dựa trên văn bản và hình ảnh tham chiếu. Kết quả này được chứng minh qua các thử nghiệm thực tế và các số liệu định lượng.

**Kết luận**

CustomNeRF là một bước tiến quan trọng trong lĩnh vực chỉnh sửa cảnh 3D dựa trên văn bản và hình ảnh tham chiếu. Phương pháp này cung cấp khả năng chỉnh sửa linh hoạt và chính xác, đồng thời giải quyết các thách thức liên quan đến việc giữ nguyên hậu cảnh và duy trì sự nhất quán về hình học. Với tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, CustomNeRF hứa hẹn sẽ mở ra những cơ hội mới trong việc tái tạo và chỉnh sửa cảnh 3D.

**Từ khóa:**
– Chỉnh sửa cảnh 3D
– Mô hình phân tán
– Tiền cảnh và hậu cảnh
– Giáo dục chính quy hóa loại
– Văn bản và hình ảnh tham chiếu