.webp) |
| Audio2Face | dok: @nvidia |
NVIDIA terus mengembangkan Audio2Face, sebuah teknologi animasi wajah berbasis AI yang mampu menciptakan avatar 3D dengan ekspresi sangat realistis. Cukup bermodal suara, karakter digital dapat menampilkan ekspresi wajah manusia seolah nyata, lengkap dengan sinkronisasi bibir secara presisi.
Dengan memanfaatkan model bahasa dan pemrosesan ucapan, Audio2Face dirancang untuk menghadirkan percakapan yang lebih alami antara pengguna dan avatar. Teknologi ini bisa diterapkan di berbagai bidang, mulai dari industri gim video, layanan pelanggan berbasis AI, hingga dunia hiburan dan pendidikan. Hasilnya, interaksi dengan karakter virtual menjadi lebih hidup dan imersif.
"NVIDIA Audio2Face mempercepat penciptaan karakter digital yang realistis dengan menyediakan animasi wajah dan sinkronisasi bibir secara real-time yang digerakkan oleh AI generatif. Saat ini, NVIDIA membuka sumber teknologi Audio2Face kami untuk mempercepat adopsi avatar bertenaga AI dalam game dan aplikasi 3D," tulis NVIDIA di laman resminya, dilansir Rabu (1/10/2025).
Audio2Face bekerja dengan menganalisis fitur akustik dari suara, seperti fonem dan intonasi. Dari analisis tersebut, AI menghasilkan aliran data animasi yang dipetakan ke pose wajah karakter digital. Teknologi ini tidak hanya membuat gerakan bibir sinkron dengan suara, tetapi juga menghadirkan emosi sesuai nada bicara. Ekspresi wajah yang dinamis ini menghadirkan pengalaman visual yang lebih autentik.
Dua mode, offline dan real-time.
Menariknya, teknologi ini dapat digunakan dalam dua mode, offline dan real-time. Untuk konten yang sudah direkam sebelumnya, animasi dapat dirender secara offline dengan kualitas tinggi. Sementara untuk karakter dinamis, animasi dapat dijalankan secara real-time, memungkinkan avatar merespons langsung input suara pengguna. Fleksibilitas ini menjadikannya solusi ideal di berbagai platform interaktif.
"Cara kerjanya dengan menganalisis fitur akustik seperti fonem dan intonasi untuk menghasilkan aliran data animasi, yang kemudian dipetakan ke pose wajah karakter. Data ini dapat dirender secara offline untuk konten yang telah ditulis sebelumnya atau dialirkan secara real-time untuk karakter dinamis yang digerakkan oleh AI, menghasilkan sinkronisasi bibir dan ekspresi emosi yang akurat," ungkapnya.
NVIDIA kini mengambil langkah besar dengan membuka sumber (open source) teknologi Audio2Face. Model dan SDK-nya tersedia agar pengembang di seluruh dunia bisa memanfaatkan, mengembangkan, dan menerapkannya dalam proyek-proyek 3D. Dengan cara ini, inovasi tidak hanya terbatas pada laboratorium NVIDIA, tetapi juga bisa tumbuh melalui kolaborasi komunitas global.
Selain itu, NVIDIA turut membuka kerangka kerja pelatihan (training framework) untuk Audio2Face. Artinya, pengembang dan kreator dapat menyesuaikan model yang sudah ada agar sesuai dengan kebutuhan spesifik, misalnya untuk gim dengan karakter unik atau aplikasi layanan pelanggan dengan persona tertentu. Personalisasi ini memperluas cakupan dan daya tarik teknologi animasi berbasis AI.
Dengan langkah terbuka dari NVIDIA, kehadiran Audio2Face diyakini akan mempercepat adopsi avatar bertenaga AI di masa depan. Avatar digital dengan animasi realistis akan semakin umum hadir di dunia maya, mendukung pengalaman yang lebih imersif, komunikatif, dan manusiawi. Perpaduan antara suara dan ekspresi wajah ini membawa kita selangkah lebih dekat pada dunia virtual yang terasa nyata.
"NVIDIA membuka sumber model dan SDK Audio2Face agar setiap pengembang game dan aplikasi 3D dapat membangun dan menerapkan karakter dengan fidelitas tinggi dengan animasi mutakhir. Kami juga membuka sumber kerangka kerja pelatihan Audio2Face, sehingga siapa pun dapat menyempurnakan dan menyesuaikan model kami yang sudah ada untuk kasus penggunaan tertentu," jelasnya.
