Alibaba Meluncurkan Qwen3-Omni: Model AI Multimodal Sumber Terbuka

Mengapa ini penting sekarang: AI multimodal terbuka menjadi arus utama

Alibaba merilis Qwen3-Omni, model kecerdasan buatan multimodal yang tersedia secara bebas, dapat menerima teks, gambar, audio, dan video sebagai masukan, serta merespons dalam bentuk teks atau tuturan alami secara real time. Perusahaan menyebutnya sebagai sistem omni-modal end-to-end native pertama yang mengintegrasikan keempat jenis masukan dalam satu model, alih-alih menambahkannya belakangan. Peluncuran ini berlangsung di tengah pasar yang sistem-sistem terdepannya dari OpenAI dan Google masih bersifat proprieter, sehingga menghadirkan kontras tajam antara platform tertutup dan alternatif sumber terbuka yang dapat diunduh, dimodifikasi, dan diterapkan siapa saja di bawah lisensi Apache 2.0.

Manfaat yang ditawarkan cukup jelas. Perusahaan dan pengembang mendapatkan model yang bekerja lintas modalitas dengan latensi rendah, dukungan bahasa luas, serta perangkat untuk membentuk respons. Implikasinya melampaui tolok ukur teknis. Lisensi terbuka yang ramah bagi perusahaan menghilangkan keterikatan pada vendor dan memberi organisasi pilihan untuk menjalankan model di infrastruktur mereka sendiri. Ini menjadi perbedaan penting ketika banyak perusahaan berupaya menyeimbangkan biaya, kendali, dan kinerja dalam tumpukan AI mereka.

Qwen3-Omni hadir setelah gelombang model omni. GPT-4o dari OpenAI menggabungkan teks, gambar, dan audio. Gemini 2.5 Pro dari Google menambahkan analisis video. Sistem-sistem tersebut tetap berbayar dan tertutup. Qwen3-Omni menghadirkan pemahaman video, masukan suara, dan keluaran suara dalam satu paket yang dapat ditinjau dan dikembangkan komunitas. Rilis ini juga mencerminkan meningkatnya proyek AI terbuka China yang banyak diadopsi di platform pengembang dan membentuk ulang peta persaingan.

Apa itu Qwen3-Omni dan cara kerjanya

Qwen3-Omni menggunakan desain dua bagian bernama Thinker dan Talker, yang masing-masing dioptimalkan untuk tahap berbeda dalam alur pemrosesan. Thinker menangani pemahaman multimodal, penalaran, dan pembuatan teks. Talker mengubah keluaran yang disetujui menjadi suara dan menyelaraskan suara dengan visual. Kedua komponen mengandalkan arsitektur Mixture of Experts, yakni cara membagi model menjadi kelompok parameter khusus yang hanya diaktifkan saat diperlukan. Hal ini membuat inferensi lebih cepat dan lebih mudah diskalakan karena model tidak perlu menjalankan setiap parameter untuk setiap permintaan.

Penjelasan Thinker dan Talker

Dalam Qwen3-Omni, Thinker menerima masukan, memadukan sinyal dari teks, gambar, audio, dan video, lalu menghasilkan respons inti dalam bentuk teks. Penalaran dengan konteks panjang, penggunaan alat, pengambilan informasi, dan filter keselamatan dapat dijalankan pada tahap ini. Yang penting, Talker tidak harus bergantung pada token teks Thinker. Sebaliknya, Talker menggunakan fitur audio dan visual secara langsung. Pilihan ini memungkinkan sistem menghasilkan tuturan yang mengikuti waktu dan penekanan suara pembicara asli saat menerjemahkan, atau menyelaraskan tempo bicara dengan apa yang tampil di layar. Ini juga memungkinkan kendali alur kerja, karena modul eksternal dapat meninjau atau menyesuaikan keluaran Thinker sebelum Talker mengubahnya menjadi audio.

Untuk pemrosesan suara, Qwen3-Omni menggunakan pendekatan autoregresif multi-codebook yang memprediksi token akustik ringkas, lalu mengubahnya menjadi bentuk gelombang dengan jaringan Code2Wav yang ringan. Desain ini memangkas latensi sekaligus mempertahankan detail suara. Enkoder audionya, yang disebut Audio Transformer, dilatih dari awal untuk mendukung penggunaan streaming maupun offline.

Dirancang untuk streaming berlatensi rendah

Qwen3-Omni ditujukan untuk penggunaan percakapan langsung. Sistem ini melaporkan latensi paket pertama end-to-end sekitar 234 milidetik untuk audio dan sekitar 547 milidetik untuk video. Nilainya tetap di bawah satu faktor real time, yang berarti sistem dapat menghasilkan keluaran secepat atau lebih cepat daripada masukan diterima. Hal ini penting untuk agen suara, asisten pusat panggilan, transkripsi rapat, dan berbagai situasi ketika jeda mengganggu kelancaran interaksi.

Cakupan bahasa dan batas konteks

Model ini mendukung 119 bahasa untuk teks, 19 bahasa untuk masukan suara, dan 10 bahasa untuk keluaran suara. Model ini mampu menangani interaksi panjang. Thinking Mode menyediakan jendela konteks 65,536 token, sementara rantai penalaran terpanjang mencapai 32,768 token. Non Thinking Mode menggunakan konteks 49,152 token. Batas maksimum masukan dan keluaran masing-masing 16,384 token. Batas-batas ini menentukan banyaknya konten yang dapat diproses dan dihasilkan model dalam satu sesi, yang sangat relevan untuk transkrip video dan dokumen panjang.

Versi dan opsi penerapan

Alibaba merilis tiga versi Qwen3-Omni-30B-A3B, yang masing-masing disesuaikan untuk tugas berbeda.

Model Instruct menggabungkan Thinker dan Talker. Model ini menerima teks, gambar, audio, dan video, serta merespons dalam bentuk teks dan suara. Model Thinking berfokus pada penalaran dan tugas dengan rangkaian pemikiran panjang. Model ini menerima masukan yang sama, tetapi hanya menghasilkan teks. Karena itu, model ini cocok untuk situasi yang lebih mengutamakan jawaban tertulis terperinci daripada suara. Model Captioner disesuaikan untuk pembuatan takarir audio dan menghasilkan deskripsi teks terperinci dengan fokus pada rendahnya halusinasi. Secara keseluruhan, ketiga versi ini mencakup interaksi multimodal luas, penalaran mendalam, dan pemahaman audio khusus.

Qwen3-Omni tersedia untuk penggunaan lokal dan melalui cloud. Pengembang dapat mengunduh bobot model dari repositori resmi dan hub komunitas, atau menggunakan varian Flash yang lebih cepat melalui API Alibaba. Panduan mulai cepat, buku panduan untuk tugas seperti pengenalan suara, penerjemahan, analisis musik, OCR, dan dialog audiovisual, serta catatan penerapan Docker tersedia dalam dokumentasi proyek. Repositori GitHub tersedia di sini: https://github.com/QwenLM/Qwen3-Omni.

Bagi tim yang mencoba API ter-host, Alibaba menawarkan kuota gratis satu juta token lintas modalitas yang berlaku selama 90 hari setelah aktivasi. Keluaran audio hanya tersedia dalam Non Thinking Mode saat menggunakan API. Detail ini penting untuk merencanakan uji coba dan memperkirakan biaya selama eksperimen awal.

Gambaran singkat alur pelatihan

Qwen3-Omni dilatih melalui proses bertahap yang memadukan prapelatihan skala besar dengan pascapelatihan terarah. Audio Transformer berfungsi sebagai enkoder audio dengan sekitar 0.6 miliar parameter. Enkoder ini dilatih menggunakan 20 juta jam audio berlabel. Komposisi datanya sekitar 80 persen pengenalan suara bahasa China dan Inggris, 10 persen pengenalan suara bahasa lain, dan 10 persen tugas pemahaman audio. Enkoder ini dirancang untuk mendukung caching real time sekaligus pemrosesan offline.

Prapelatihan berlangsung dalam tiga tahap. Pada tahap pertama, yang disebut penyelarasan enkoder, enkoder visual dan audio dilatih sementara inti model bahasa tetap dibekukan. Langkah ini mencegah persepsi model menurun selama fusi awal. Tahap kedua, yang disebut pelatihan umum, menggunakan kumpulan data sekitar 2 triliun token yang mencakup teks, audio, gambar, serta porsi lebih kecil berupa video dan sampel audio-video. Tahap ketiga memperpanjang panjang token maksimum dari 8,192 menjadi 32,768, dengan lebih banyak konten audio dan video berdurasi panjang untuk memperkuat kemampuan menangani rangkaian panjang.

Pascapelatihan menyasar penalaran sekaligus kualitas suara. Thinker menjalani penyetelan halus terawasi, distilasi dari model kuat ke model lemah, dan optimasi GSPO dengan gabungan umpan balik berbasis aturan dan penilaian model sebagai juri. Talker mengikuti proses empat tahap dengan ratusan juta sampel tuturan multimodal dan prapelatihan berkelanjutan menggunakan data pilihan. Tujuannya menurunkan tingkat halusinasi dan meningkatkan kealamian suara.

Kinerja dan keunggulannya

Berdasarkan tolok ukur publik yang dilaporkan perusahaan, Qwen3-Omni menunjukkan hasil kuat dalam pemahaman suara, audio, dan video, sekaligus mempertahankan skor tinggi untuk teks dan visual. Model ini memimpin di banyak papan peringkat terbuka dan mencatat hasil kompetitif dibandingkan sistem tertutup.

Dalam teks dan penalaran, model ini meraih skor 65.0 pada AIME25 dan 76.0 pada ZebraLogic. Pada WritingBench, skornya mencapai 82.6. Dalam tugas suara dan audio, model ini mencatat tingkat kesalahan kata sebesar 4.69 dan 5.89 pada Wenetspeech serta 2.48 pada Librispeech other. Hasilnya juga kuat dalam tugas musik, dengan skor 93.0 pada GTZAN dan 52.0 pada RUL MuchoMusic. Untuk gambar dan visual, HallusionBench mencapai 59.7, MMMU pro 57.0, dan MathVision full 56.3. Dalam video, model ini melaporkan skor 75.2 pada MLVU. Jika hasil ini terkonfirmasi melalui evaluasi pihak luar, angka tersebut menunjukkan model yang menyeimbangkan tugas teks konvensional dengan pemahaman audio dan video tingkat lanjut.

Ada dua hal yang perlu diperhatikan. Pertama, banyak hasil dilaporkan sendiri oleh perusahaan. Replikasi independen dengan rangkaian pengujian yang lebih luas akan memberikan gambaran lebih lengkap tentang kinerja sehari-hari. Kedua, membangun satu model yang mencakup empat jenis masukan dapat menimbulkan kompromi. Materi perusahaan berupaya menunjukkan keseimbangan antarmodalitas, tetapi sejumlah peninjau komunitas mengamati bahwa versi Qwen terdahulu yang mengutamakan teks sedikit lebih unggul dalam keluaran teks murni untuk tugas tertentu. Ini adalah ketegangan yang lazim antara model spesialis dan generalis. Rilis terbaru ini memperkecil kesenjangan tersebut sekaligus membuka kemampuan lintas modalitas yang tak dapat ditandingi model spesialis.

Harga, kuota, dan batas penggunaan

Qwen3-Omni merupakan model sumber terbuka untuk penerapan lokal di bawah lisensi Apache 2.0. Untuk akses terkelola melalui API Alibaba, biaya dihitung berdasarkan token. Thinking Mode dan Non Thinking Mode menerapkan tarif per token yang sama. Keluaran audio hanya tersedia dalam Non Thinking Mode.

Biaya masukan per 1.000 token

• Masukan teks: 0.00025 dolar Amerika Serikat
• Masukan audio: 0.00221 dolar Amerika Serikat
• Masukan gambar atau video: 0.00046 dolar Amerika Serikat

Biaya keluaran per 1.000 token

• Keluaran teks dengan masukan teks saja: 0.00096 dolar Amerika Serikat
• Keluaran teks saat masukan mencakup gambar atau audio: 0.00178 dolar Amerika Serikat
• Keluaran teks plus audio: 0.00876 dolar Amerika Serikat untuk bagian audio, teks gratis

Paket gratis: satu juta token lintas modalitas, berlaku selama 90 hari setelah aktivasi. Batas konteks cukup besar, yakni 65,536 token dalam Thinking Mode dan 49,152 dalam Non Thinking Mode. Masukan tunggal maksimum 16,384 token dan keluaran maksimum 16,384 token. Rantai penalaran terpanjang mencapai 32,768 token. Batas-batas ini menjadi panduan untuk membagi media dan dokumen panjang saat digunakan dalam produksi.

Mengapa ini penting bagi perusahaan

Lisensi menjadi bagian penting dari cerita ini. Apache 2.0 memberikan hak untuk penggunaan komersial, modifikasi, dan distribusi ulang. Lisensi ini mencakup lisensi paten, yang mengurangi risiko hukum saat model menjadi bagian dari sistem proprieter. Tidak ada kewajiban untuk menerbitkan karya turunan, sehingga memudahkan perusahaan yang perlu merahasiakan varian hasil penyetelan halus. Ini berlawanan dengan sistem kotak hitam yang dikendalikan vendor, ketika biaya, batas laju, dan perilaku model dapat berubah tanpa jalan keluar.

Rilis ini juga mendorong perubahan keputusan arsitektur. Banyak organisasi beralih ke tumpukan multi-model. Mereka memadukan model terbuka dan tertutup sesuai tugas, menggabungkan model kecil dan cepat untuk pekerjaan rutin dengan model lebih besar untuk penalaran kompleks, serta menjalankan beban kerja tertentu di lokasi sendiri demi kendali data. Cakupan Qwen3-Omni menjadikannya kandidat untuk skenario yang banyak menggunakan suara, lingkungan multibahasa, dan alur kerja yang kaya video. Menangani beberapa modalitas dalam satu model dapat mengurangi jumlah sistem terpisah yang perlu dilatih dan dipelihara.

Penerapan yang berhasil tetap membutuhkan kedisiplinan. Tinjauan keamanan, kendali privasi, perangkat evaluasi, dan alur kerja penyetelan halus tetap menjadi kebutuhan dasar. Sifat model yang terbuka memudahkan audit dan optimasi, tetapi juga menempatkan tanggung jawab keselamatan dan kepatuhan pada pihak yang mengadopsinya. Tim yang berinvestasi dalam MLOps, penggunaan alat, dan pengamanan akan memperoleh manfaat terbesar.

Penggunaan: dari pusat kontak hingga layanan lapangan

Alibaba menyoroti beragam skenario yang sesuai dengan keunggulan model ini. Transkripsi dan penerjemahan multibahasa dapat dipadukan dengan keluaran suara berlatensi rendah untuk percakapan langsung. Pembuatan takarir audio mendukung produksi media dan aksesibilitas konten. OCR dan pemahaman dokumen dapat digunakan pada gambar formulir, tanda terima, dan diagram. Pemberian tag musik dan analisis suara membantu perpustakaan media dan alat kreatif. Pemahaman video memungkinkan pengindeksan, navigasi, dan pemberian instruksi berdasarkan tutorial atau panduan penggunaan peralatan.

Salah satu contoh yang menggambarkan kemampuannya adalah dukungan teknis. Pelanggan dapat menyiarkan video dari ponsel, sementara model membaca teks di layar, mendengarkan audio sekitar, dan memberikan panduan langkah demi langkah melalui respons suara. Contoh lain adalah asisten yang dapat dikenakan untuk menerjemahkan menu atau papan petunjuk secara real time. Pengembang juga dapat mengarahkan perilaku model dengan prompt sistem untuk menentukan nada, persona, dan batasan domain, serta menghubungkannya dengan sistem pengambilan informasi, kalkulator, atau alat pihak ketiga guna memperluas kemampuannya.

Sinyal adopsi dan konteks global

Minat awal menunjukkan ketertarikan kuat dari komunitas pengembang. Varian Qwen3-Omni naik ke posisi teratas dalam daftar model yang sedang tren di sejumlah hub AI populer, sementara model Qwen lainnya mengisi beberapa posisi teratas. Lonjakan ini menyoroti pergeseran yang lebih luas ke sistem terbuka dari tim China yang bersaing langsung dengan pemain mapan Barat. Di pasar saham, saham Alibaba di Hong Kong naik sedikit lebih dari empat persen pada hari ketika rilis ini mendapat sorotan besar.

Alternatif terbuka ini akan menekan strategi harga dan produk sistem tertutup, terutama untuk kasus penggunaan yang banyak mengandalkan audio dan video. Perusahaan yang perlu menguji gagasan tanpa proses pengadaan panjang kini dapat menjalankan model omni-modal dengan biaya rendah. Jika kinerja di dunia nyata sejalan dengan tolok ukur yang dilaporkan, peluncuran ini dapat mempercepat adopsi asisten multimodal di pusat kontak, produksi media, pendidikan, transkripsi layanan kesehatan, dan pemeliharaan industri.

Intinya

• Qwen3-Omni adalah model sumber terbuka yang menerima teks, gambar, audio, dan video serta merespons dalam bentuk teks dan suara, dengan optimasi untuk penggunaan real time.
• Sistem ini menggunakan arsitektur Thinker dan Talker dengan Mixture of Experts untuk kecepatan dan skala, serta Audio Transformer khusus dan perender Code2Wav.
• Target latensinya sekitar 234 milidetik untuk audio dan sekitar 547 milidetik untuk video, dengan streaming di bawah satu faktor real time.
• Cakupan bahasanya meliputi 119 bahasa untuk teks, 19 untuk masukan suara, dan 10 untuk keluaran suara, dengan jendela konteks panjang hingga 65,536 token.
• Tersedia tiga varian: Instruct untuk masukan dan keluaran multimodal penuh, Thinking untuk penalaran teks saja, dan Captioner untuk takarir audio terperinci.
• Model ini bersumber terbuka di bawah Apache 2.0, dengan kuota gratis satu juta token untuk uji coba API dan harga per token untuk akses ter-host.
• Tolok ukur yang dilaporkan perusahaan menunjukkan hasil kuat di bidang suara, audio, video, dan teks, dengan sejumlah skor terbaik.
• Perusahaan mendapatkan jalur tanpa biaya untuk menerapkan, menyesuaikan, dan menjalankan AI multimodal tanpa keterikatan pada vendor, dengan catatan mereka tetap perlu berinvestasi dalam evaluasi dan keselamatan.
• Adopsi komunitas berlangsung cepat, dengan model-model Qwen menjadi tren di platform pengembang dan meningkatnya minat terhadap sistem AI terbuka China.