Công nghệ Deepfake của startup Flawless nâng kỹ thuật lồng tiếng lên tầm cao mới

QUÂN BẢO• 22/05/2021 07:24

Công nghệ Deepfake của startup Flawless sẽ nâng lồng tiếng lên một tầm cao mới - biến khẩu hình miệng của diễn viên trùng khớp với ngôn ngữ lồng tiếng.

Lồng tiếng là một mảng quan trọng của nền công nghiệp phim ảnh. Nhiều người vẫn thích nghe lồng tiếng hơn là đọc phụ đề. Với công nghệ deepfake của Flawless, khán giả không những được “nghe” lồng tiếng, mà còn được “xem” khẩu hình miệng của diễn viên trùng khớp với âm thanh phát ra.

Nhiều người sẽ nghĩ công nghệ deepfake này sẽ tác động lên toàn bộ hình ảnh diễn viên hoặc cảnh quay. Tuy nhiên Flawless chỉ tác động lên duy nhất một yếu tố: đôi môi. Khi đưa thông tin đầu vào là một video kèm với giọng lồng tiếng con người, các mô hình máy học của Flawless sẽ tạo nên những chuyển động môi phù hợp với ngôn ngữ dịch và tự động “đè” các chuyển động này lên phần môi của diễn viên.

Nick Lynes, đồng sáng lập Flawless, cho biết khi xem lồng tiếng, khán giả sẽ không thể nhập tâm hoàn toàn vào bộ phim/video nếu lời thoại (đã được lồng tiếng) và khẩu hình miệng của diễn viên không khớp nhau. Vậy nên công nghệ này sẽ giúp trải nghiệm của khán giả trở nên trơn tru hơn.

Điều thú vị khi nói về công nghệ Flawless chính là tiềm năng mở rộng. Theo như Flawless quảng cáo, sản phẩm của họ rẻ, nhanh chóng, đặc biệt khi phải so sánh với việc làm lại toàn bộ video/bộ phim (remakes). Và trong thời đại toàn cầu phát sốt vì phim trực tuyến với những nền tảng như Netflix, Disney+ hay Amazon Prime Video, Flawless sẽ giúp tạo nên nội dung lồng tiếng để tiếp cận khán giả toàn thế giới.

Erik Barmack, cựu nhân viên Netflix chịu trách nhiệm các sản phẩm quốc tế, cho biết: “Ngày càng có nhiều người dùng dịch vụ phim trực tuyến, và lượng lớn khán giả sẽ nằm ngoài thị trường tiếng Anh. Vậy nên bài toán đặt ra là làm sao để các nội dung quốc tế có thể thành công.”

Như Barmark gợi ý, có nhiều cách để đáp ứng nhu cầu này. Chẳng hạn tạo ra các chương trình phù hợp văn hóa người xem nội địa, hoặc làm lại các bom tấn. Tuy nhiên Flawless đánh cược rằng công nghệ của họ sẽ đem đến giải pháp mới hấp dẫn hơn cho các đơn vị sản xuất phim, đặc biệt với những nhà làm phim không muốn thay đổi bộ sậu diễn viên chính.

Flawless phát triển công nghệ deepfake dựa trên một nghiên cứu của Max Planck Institute (2019). Trong 3 năm qua, Flawless đẩy nhanh thời gian sản xuất và giảm số lượng cảnh quay đầu vào. Kết quả cuối cùng là giữ cân bằng giữa tạo lồng tiếng tự động (85%) và chỉnh sửa thủ công (15%).

Công nghệ của Flawless đã làm dấy lên những tranh cãi về các tác phẩm remakes. Liệu rằng chỉ với việc biến đổi khẩu hình miệng của diễn viên cho phù hợp với ngôn ngữ lồng tiếng liệu là đủ để xóa bỏ “rào cản 1 inch” của phụ đề (cách gọi của đạo diễn Bong Joon Ho của Ký sinh trùng), hay có thể khiến văn hóa của một quốc gia hòa hợp với người xem ở một quốc gia khác?

Từ góc nhìn của mình, Lynes cho rằng lồng tiếng deepfake ít nhất cũng là cách ít tốn kém hơn trong việc đưa một bộ phim ngôn ngữ này đến đối tượng khán giả ngôn ngữ kia mà vẫn giữ lại tinh hoa bản gốc. Anh hy vọng rằng công sức của nhiều người trong bộ phim sẽ được biết đến rộng rãi hơn vì tiếp cận được thị trường rộng hơn nhờ lồng tiếng deepfake.

Tuy nhiên nếu muốn hướng đến tương lai này, Flawless phải chứng minh rằng khán giả thực sự cần công nghệ của mình. Mặc dù Flawless cho biết đang chuẩn bị ký hợp đồng đầu tiên (không tiết lộ tên đối tác), tuy nhiên vẫn chưa thấy rõ ràng khi nào công nghệ này có thể xuất hiện rộng rãi trên các chương trình TV hoặc phim ảnh. Mà đó mới chính là cuộc kiểm tra thực sự.