Google DeepMind Memperkenalkan Genie 4 dengan Audio Langsung, Karakter Interaktif, dan Dunia yang Lebih Realistis

Dunia virtual yang merespons dengan gambar, gerakan, dan suara

Google DeepMind memperkenalkan Genie 4, model kecerdasan buatan eksperimental yang menghasilkan dunia virtual interaktif dengan suara, dialog lisan, dan lingkungan fisik yang berubah-ubah. Diumumkan pada 27 Oktober waktu AS, model ini awalnya tersedia bagi sekelompok kecil penguji tepercaya, dengan akses yang direncanakan melalui Project Genie, Gemini API, dan Google AI Studio.

Google menyatakan Genie 4 dapat mempertahankan konsistensi sebuah adegan hingga dua menit, dua kali lebih lama dibandingkan sekitar satu menit yang dikaitkan dengan pendahulunya, Genie 3. Selama itu, pengguna dapat bergerak di dalam lingkungan, mengubah cuaca, menghadirkan orang atau benda, serta mendengar karakter merespons kejadian yang berlangsung.

CEO Alphabet dan Google Sundar Pichai menggambarkan model tersebut saat mengumumkan pratinjau riset:

model dunia kami yang paling realistis dan interaktif

Penambahan terbesar adalah audio bawaan, yang berarti suara dihasilkan sebagai bagian dari pengalaman simulasi, bukan ditambahkan setelahnya. Suara angin, ombak, musik latar, dan percakapan dapat mengiringi dunia yang berubah. Google juga mengklaim adanya peningkatan dalam gerakan manusia dan simulasi efek fisik seperti tabrakan dan aerodinamika, yakni pengaruh udara terhadap benda yang bergerak.

Google memosisikan teknologi ini untuk perencanaan film, pengembangan gim, pendidikan, serta pelatihan robot atau agen AI sebelum mereka beroperasi di lingkungan nyata. Keterbatasan saat ini juga bersifat praktis: adegan hanya bertahan sebentar, benda dapat berubah secara tak terduga, tulisan di dalam adegan mungkin sulit dibaca, dan akurasi audio masih perlu ditingkatkan.

Perbedaan dunia interaktif dengan video yang dihasilkan

Genie memulai proses dengan deskripsi teks atau gambar, lalu menghasilkan lingkungan yang dapat dijelajahi pengguna. Video konvensional yang dihasilkan mengikuti urutan yang ditonton pemirsa. Model dunia terus menghasilkan kejadian berikutnya sebagai respons terhadap tindakan pengguna.

Pengguna dapat bernavigasi dan mengatur posisi kamera dengan kendali papan ketik. Instruksi tertulis dapat mengubah lingkungan saat simulasi berjalan, misalnya mengubah cuaca, menambahkan karakter, atau memindahkan sudut pandang. Sistem kemudian harus menghasilkan gambar berikutnya agar mencerminkan perubahan tersebut.

Google menjelaskan proses ini sebagai pembuatan pengalaman bingkai demi bingkai. Alih-alih mengharuskan setiap kemungkinan interaksi disiapkan sebelumnya, model memprediksi kelanjutan adegan ketika seseorang bertindak di dalamnya.

Karena itu, kesinambungan menjadi tantangan utama. Simulasi yang berguna perlu mengingat letak benda, gerakan orang, dan kejadian yang sudah berlangsung. Adegan yang sekilas tampak meyakinkan menjadi kurang berguna jika tata letaknya berubah saat pengguna berbalik arah.

Audio menjadikan karakter bagian dari interaksi

Genie 4 menambahkan suara lingkungan, musik, dan percakapan ke dalam dunia visual yang berubah-ubah. Google menyatakan audio dapat disesuaikan dengan lokasi yang dihasilkan, termasuk suara angin yang berembus di antara pepohonan atau ombak yang pecah di tepi pantai.

Karakter juga dapat berbicara sebagai respons terhadap masukan pengguna dan kejadian di dalam simulasi. Dialog mereka dirancang agar berubah mengikuti situasi, bukan sekadar mengikuti rekaman suara tetap. Pengguna dapat menentukan unsur audio dalam prompt, selain unsur visual.

Google menyatakan sosok manusia juga mengalami peningkatan, dengan gerakan yang lebih alami dan respons terhadap lingkungan sekitar. Tindakan mereka dapat diarahkan saat simulasi terus berjalan, sehingga perilaku karakter dan penyuntingan adegan berlangsung dalam interaksi yang sama.

Akurasi audio masih menjadi tantangan pengembangan yang diakui tim. Bagi orang yang merencanakan adegan atau latihan interaktif, kebutuhan praktisnya adalah memastikan ucapan dan suara lingkungan tetap sesuai ketika aksi berubah.

Gemini menyusun rencana, Genie menghasilkan dunia

Google telah mengintegrasikan keluarga model AI Gemini secara lebih erat ke dalam Genie 4. Keduanya memiliki tugas berbeda: Genie menghasilkan dunia simulasi, sementara Gemini membantu mengarahkan kejadian dan memeriksa apakah hasilnya sesuai dengan rencana.

Gemini Omni mendukung tampilan dan perilaku lingkungan. Gemini 3.8 Flash memantau bingkai yang masuk, membagi tujuan menjadi langkah-langkah kecil, memeriksa keberhasilan tindakan, dan menyesuaikan rencana ketika adegan berubah atau pengguna turun tangan.

Sederhananya, satu bagian sistem membuat tampilan berikutnya, sementara bagian lain memantau kemajuan menuju tujuan. Pengaturan ini dirancang agar kejadian berlangsung dalam urutan yang masuk akal, terutama ketika tugas memerlukan beberapa tindakan, bukan satu respons langsung.

Tejas Kulkarni, direktur riset di Google, menjelaskan pemikiran jangka panjang perusahaan dalam sebuah pengarahan:

Yang akan semakin sering kita lihat di masa depan adalah model dunia hibrida ini, yang menggabungkan Gemini untuk menulis kode dan teks, serta Genie yang menerima masukan itu secara waktu nyata dan menyimulasikan realitas pada berbagai tingkat abstraksi,

Kombinasi yang diusulkan ini akan memungkinkan bahasa, kode, dan simulasi visual bekerja bersama. Genie 4 sudah menggunakan pembagian tanggung jawab tersebut dalam bentuk terbatas, dengan Gemini membantu mengarahkan dunia yang dihasilkan saat pengguna menjelajahinya.

Alasan Google ingin robot berlatih di dalamnya

Google DeepMind sedang menguji kemungkinan penggunaan Genie 4 untuk menyediakan lingkungan pelatihan bagi robot dan agen AI. Agen adalah perangkat lunak yang mengejar tujuan dengan memilih tindakan, memeriksa hasilnya, lalu memutuskan langkah berikutnya.

Dalam sebuah eksperimen yang terkait dengan Gemini Robotics, Gemini 4 Argon membagi tugas menjadi beberapa langkah yang disimulasikan Genie 4 secara waktu nyata. Tujuannya adalah menjajaki cara robot melakukan pekerjaan rumit sebelum mencobanya di dunia fisik.

Google menyatakan lingkungan virtual dapat mereka ulang situasi yang sulit ditemui atau diatur di dunia nyata. Pengembang dapat mengubah kondisi dan mengamati respons agen, tanpa harus membangun ulang ruang pengujian fisik untuk setiap variasi.

Peningkatan yang diklaim dalam simulasi tabrakan dan aerodinamika sangat relevan untuk penggunaan ini. Pelatihan membutuhkan hubungan yang berguna antara tindakan dan hasilnya: misalnya, bagaimana benda bergerak setelah bersentuhan, atau bagaimana lingkungan merespons gerakan. Google mengakui bahwa interaksi fisik yang rumit masih menjadi tantangan bagi model ini.

Perencanaan film menawarkan kegunaan yang lebih dekat

Para penguji tepercaya menyebut prototipe film dan pembuatan storyboard secara cepat sebagai kemungkinan penerapan. Storyboard merangkai urutan pengambilan gambar sebelum proses syuting. Genie 4 dapat membantu tim kreatif menjelajahi posisi kamera, tindakan karakter, dan perubahan suasana saat gagasan masih dikembangkan.

Diego Rivas, insinyur Google DeepMind, menjelaskan dalam pengarahan pers mengapa respons langsung dapat berguna pada tahap tersebut:

Aspek waktu nyata menjadi paling bernilai dalam situasi ketika mempertahankan alur kreativitas sangatlah bermanfaat,

Rivas menyebut pengembangan ide dan pembuatan storyboard sebagai contohnya. Keunggulan praktisnya adalah kecepatan: kreator dapat mengubah adegan dan menjelajahi hasilnya tanpa berhenti untuk menyiapkan rangkaian terpisah bagi setiap variasi.

Google juga menawarkan Veo, yang menghasilkan klip video dengan audio tersinkronisasi berdasarkan prompt. Rivas menjelaskan kemungkinan di masa depan ketika Gemini Omni dapat membantu mengubah prototipe menjadi aset kreatif, sembari mengatakan bahwa kemampuan tersebut masih belum akan hadir dalam waktu dekat.

Gim dan pendidikan interaktif merupakan usulan penerapan lainnya. Kesamaannya adalah adegan yang merespons peserta, bukan karya media jadi yang selalu diputar dengan cara yang sama.

Dua menit konsisten masih merupakan batas yang ketat

Jendela konsistensi Genie 4 yang dilaporkan mencapai dua menit, dua kali lipat dari batas sekitar satu menit pada Genie 3. Ini memberi pengguna lebih banyak waktu untuk menjelajahi ide, tetapi tetap membatasi durasi aktivitas yang berkelanjutan.

Google menyatakan benda dan detail visual dapat berubah seiring berjalannya simulasi. Benda mungkin berubah tampilan atau posisi, dan sistem dapat kehilangan jejak tentang bagaimana adegan bermula. Karena itu, sesi yang lebih panjang masih sulit dilakukan meskipun Gemini membantu menjaga kesinambungan.

Tulisan yang dihasilkan di dalam dunia simulasi juga dapat tidak terbaca. Hal ini menjadi masalah nyata untuk adegan yang melibatkan papan tanda, instruksi, atau teks lain yang perlu dibaca seseorang.

Google menyebut Genie 4 sebagai model eksperimental tahap awal dan tengah bekerja sama dengan para penguji dari berbagai bidang. Rivas mengatakan pengalaman produk lengkap yang akan hadir nantinya masih dalam tahap perumusan. Untuk saat ini, pengalaman yang berguna berpusat pada eksperimen singkat, sementara kesinambungan visual, perilaku fisik, dan suara masih perlu dikembangkan lebih lanjut.

Siapa yang bisa mengaksesnya, dan berapa biayanya?

Pratinjau riset Genie 4 telah dimulai dengan para penguji tepercaya. Google berencana memperluas akses konsumen melalui Project Genie bagi pelanggan Google AI Ultra, serta akses pengembang melalui kemitraan akses awal yang menggunakan Gemini API dan Google AI Studio.

Google menyebut perluasan tersebut akan segera hadir, dengan peluncuran yang diperkirakan berlangsung dalam beberapa pekan mendatang, tetapi belum menetapkan tanggal pasti. Project Genie telah membuka pendaftaran daftar tunggu. Akses API akan memungkinkan pengembang menghubungkan model ini ke perangkat lunak mereka sendiri, sementara AI Studio menyediakan tempat untuk bereksperimen dengan model Google.

Paket Google AI Ultra disebut mulai dari $100 per bulan. Harga Genie 4 khusus pengembang belum diumumkan. Akses melalui AI Pro dan AI Plus dibahas sebagai kemungkinan perluasan di kemudian hari, bukan sebagai bagian dari peluncuran yang sudah dipastikan.

Google menyatakan video dan audio yang dihasilkan akan dilengkapi SynthID, tanda air digital untuk mengidentifikasi konten yang dihasilkan AI. Penanda ini ditujukan untuk membantu mengenali materi yang dibuat sistem seiring makin banyaknya pengguna yang mengakses pengalaman simulasi tersebut.

Dari Genie 3 menuju persaingan simulasi yang lebih luas

Genie 4 mengikuti serangkaian langkah untuk membuka akses ke model dunia Google di luar demonstrasi riset:

• Agustus 2025: Google DeepMind mengumumkan Genie 3.
• Januari 2026: Google mulai menguji Project Genie menggunakan model tersebut.
• Mei 2026: Google mengumumkan integrasi dengan Street View.
• 27 Oktober waktu AS: Google mengumumkan Genie 4 dan pratinjau riset awalnya.

Persaingan juga meluas melampaui adegan interaktif tanpa suara. GWM Worlds 2 dari Runway, yang dirilis beberapa bulan sebelum Genie 4, merespons tindakan pengguna dan mencakup pembuatan audio.

Aktivitas industri lainnya menunjukkan besarnya minat terhadap simulasi untuk pengembangan AI dan sistem fisik. Rivian telah mengakuisisi Third Dimension untuk menghadirkan kemampuan simulasi ke dalam pengujian kendaraannya. Akuisisi World Labs yang dilaporkan dilakukan AMD dan pembicaraan Amazon untuk membeli Decart juga menempatkan teknologi model dunia di tengah gelombang transaksi yang lebih luas, meski pembicaraan Amazon masih sebatas penjajakan.

Kontribusi terbaru Google menggabungkan pembuatan adegan, dialog, dan perencanaan Gemini dalam satu sistem eksperimental. Langkah konkret berikutnya adalah memperluas akses, sehingga lebih banyak kreator dan pengembang dapat mengetahui tugas singkat mana yang dapat ditangani model ini secara andal.

Poin-Poin Utama

• Google DeepMind mengumumkan Genie 4 pada 27 Oktober waktu AS, dengan akses awal bagi para penguji tepercaya.
• Model ini menghasilkan dunia interaktif dengan suara lingkungan, musik, dan dialog lisan yang responsif.
• Google menyatakan konsistensi adegan bertahan hingga dua menit, dua kali lipat dari batas sekitar satu menit pada Genie 3.
• Model Gemini membantu merencanakan tindakan, memantau adegan yang dihasilkan, dan menyesuaikan simulasi.
• Penerapan yang direncanakan mencakup pembuatan storyboard film, gim, pendidikan, dan pelatihan robot.
• Benda dapat berubah, teks dapat sulit dibaca, sementara simulasi fisika yang rumit dan akurasi audio masih menjadi tantangan pengembangan.
• Akses direncanakan melalui Project Genie, Gemini API, dan Google AI Studio, tanpa tanggal pasti perluasan akses atau harga untuk pengembang.