Alibaba rilis model AI baru, integrasi karakter semakin realistis

cover | @alibaba

Alibaba kembali menunjukkan taringnya di ranah kecerdasan buatan dengan meluncurkan Wan2.2-animate, model terbaru untuk pembangkitan video digital-manusia. Model ini dirancang khusus untuk animasi dan penggantian karakter, menjadikannya sebagai terobosan besar dalam industri AI kreatif. Kehadiran Wan2.2-animate sekaligus menunjukan model kedua dari seri Wan2.2 yang diluncurkan hanya dalam waktu sebulan, mempertegas komitmen Alibaba terhadap inovasi teknologi sumber terbuka.

Sebagai bagian dari keluarga Wan2.2, model ini memiliki kemampuan unik untuk menganimasikan gambar karakter dengan bantuan video referensi. Teknologi yang dikembangkan mampu menangkap ekspresi wajah dan gerakan tubuh secara presisi, lalu mengaplikasikannya pada video baru. Dengan demikian, karakter statis bisa dihidupkan secara realistis tanpa memerlukan proses manual yang rumit.

Lebih dari sekadar animasi, Wan2.2-animate juga memungkinkan penggantian karakter dalam sebuah video. Model ini dapat menyisipkan karakter baru dari gambar sumber sambil tetap mempertahankan ekspresi dan gerakan asli. Fitur ini diperkuat dengan kemampuan mereplikasi pencahayaan dan warna adegan, sehingga karakter yang diganti tetap terlihat menyatu secara alami dalam lingkungan video.

"Model ini juga dapat mengganti karakter dalam video dengan karakter dari gambar sumber, sambil mempertahankan ekspresi dan gerakannya. Dengan mereplikasi pencahayaan dan warna asli, Wan2.2-animate memungkinkan integrasi karakter yang mulus ke dalam adegan," tulis Alibaba dalam pemgumuman resminya, dilansir Senin (22/9/2025).

Langkah ini melanjutkan inovasi Alibaba setelah bulan lalu merilis Wan2.2-S2V (Speech-to-Video). Model tersebut memfokuskan diri pada transformasi potret menjadi avatar digital yang bisa berbicara, bernyanyi, dan tampil layaknya aktor film. Dengan demikian, seri Wan2.2 kini memiliki dua alat yang saling melengkapi: satu untuk avatar interaktif, satu lagi untuk animasi karakter dan penggantian digital.

Model AI mendekonstruksi.

demo | @wan.video

Pendekatan yang digunakan Wan2.2-animate terbilang inovatif. Model ini mendekonstruksi gerakan manusia menjadi pola kerangka dasar dan menyatukannya dengan ekspresi wajah yang diambil dari video sumber. Hasilnya adalah karakter animasi dengan kontrol gerakan presisi, lengkap dengan detail ekspresi yang tampak alami. Teknologi ini secara efektif mengurangi beban animator profesional yang biasanya harus menciptakan gerakan detail secara manual.

Salah satu tantangan terbesar dalam penggantian karakter digital adalah memastikan integrasi realistis ke dalam adegan. Untuk menjawab itu, Alibaba menggabungkan teknologi Adaptasi Tingkat Rendah (LoRA) dengan sistem pencahayaan ulang tambahan. Teknologi ini mampu menyesuaikan penampilan karakter sesuai dengan kondisi pencahayaan video, termasuk bayangan halus maupun suasana cahaya kompleks.

"Menggunakan pendekatan inovatif untuk menghidupkan karakter. Model ini mendekonstruksi gerakan manusia menjadi pola kerangka fundamental sekaligus menangkap ekspresi wajah dari video sumber. Hal ini memungkinkan terciptanya karakter animasi yang tampak alami dengan kontrol gerakan yang presisi," jelasnya.

Proses animasi yang biasanya memakan biaya dan waktu kini dapat dipangkas dengan signifikan. Dari film layar lebar, serial televisi, video pendek, gim hingga periklanan, Wan2.2-animate menawarkan cara baru untuk menghadirkan karakter digital yang hidup dan menyatu dengan dunia nyata.

Model terbaru ini sudah tersedia di berbagai platform sumber terbuka seperti Hugging Face, GitHub, dan ModelScope hingga dapat diakses di situs resminya wan.video. Hingga kini, seri Wan dari Alibaba telah diunduh lebih dari 30 juta kali di komunitas global. Dengan kontribusi ini, Alibaba memperkuat posisinya bukan hanya sebagai raksasa teknologi, tetapi juga sebagai motor penggerak ekosistem sumber terbuka untuk AI kreatif.

"Wan2.2-animate tersedia untuk diunduh di Hugging Face , GitHub , dan komunitas sumber terbuka, ModelScope . Alibaba telah menjadi kontributor penting bagi komunitas sumber terbuka global. Hingga saat ini, seri Wan telah menghasilkan lebih dari 30 juta unduhan di komunitas sumber terbuka dan platform pihak ketiga," terangnya.