Alibaba Meluncurkan Model AI Multimodal Qwen3 Omni Sumber Terbuka

Penantang baru sumber terbuka di bidang AI multimodal

Alibaba memperkenalkan Qwen3 Omni, model multimodal serbaguna yang dapat membaca teks, melihat gambar, mendengarkan audio, dan menonton video. Model ini merespons dalam bentuk teks dan suara alami. Perusahaan menyebutnya sebagai model omni end-to-end asli. Artinya, sejak awal model ini dirancang untuk menangani semua jenis masukan tersebut secara bersamaan, bukan memperlakukan kemampuan bicara atau penglihatan sebagai fitur tambahan. Model ini hadir ketika banyak organisasi mempertimbangkan kompromi biaya dan kendali antara model sumber terbuka dan sistem berpemilik seperti GPT 4o dan Gemini 2.5 Pro. Perbedaan utamanya adalah akses. Qwen3 Omni dirilis dengan lisensi Apache 2.0, kerangka permisif yang memungkinkan penggunaan komersial, modifikasi, dan redistribusi secara gratis. Hal ini menurunkan hambatan bagi tim yang ingin menghosting sendiri atau meluncurkan produk tanpa biaya per pengguna atau keterikatan pada satu vendor.

Qwen3 Omni juga melampaui tiga serangkai yang lazim, yakni teks, gambar, dan audio. Model ini juga dapat menganalisis video, kemampuan yang sejauh ini terutama terbatas pada platform tertutup. Model ini mendukung 119 bahasa untuk teks, 19 bahasa untuk masukan suara, dan 10 bahasa untuk keluaran suara, mencakup bahasa-bahasa utama serta sejumlah dialek seperti Kanton. Materi awal menyoroti respons streaming yang terasa seperti percakapan, bukan pemrosesan batch, dengan audio paket pertama dalam sekitar seperempat detik dan video dalam sekitar setengah detik. Ini merupakan ambang penting bagi asisten yang menyela, meminta klarifikasi, dan mengalihkan percakapan dengan cepat dalam situasi waktu nyata seperti panggilan dukungan atau panduan seluler.

Rilis ini mencakup tiga varian yang disesuaikan untuk kebutuhan berbeda. Instruct adalah model percakapan dengan fitur lengkap, Thinking berfokus pada penalaran kompleks dan rangkaian pemikiran panjang dengan keluaran teks, sedangkan Captioner mengkhususkan diri pada pembuatan takarir audio, saat tingkat halusinasi yang rendah menjadi penting. Pengembang dapat mengakses bobot model di sejumlah pusat model populer, menggunakan API dengan opsi Flash yang lebih cepat, atau melakukan fine-tuning untuk kendali domain dan gaya. Tolok ukur yang dilaporkan perusahaan menunjukkan hasil kuat dalam tugas suara, audio, dan video, dengan kinerja teks dan penglihatan yang tetap kompetitif dibandingkan sistem terdepan.

Keistimewaan Qwen3 Omni

Sejumlah pilihan teknis membedakan Qwen3 Omni. Pertama, alur pelatihannya sejak awal memadukan data unimodal dan lintas modalitas, lalu terus ditingkatkan skalanya selama prapelatihan dan pascapelatihan. Kedua, model ini menggunakan arsitektur Mixture of Experts yang mengaktifkan sebagian kecil parameter untuk setiap token. Hal ini dapat meningkatkan throughput dan menekan biaya inferensi, yang penting bagi aplikasi waktu nyata dan penerapan dengan keterbatasan perangkat keras. Ketiga, sistem memisahkan penalaran dan suara ke dalam dua komponen terkoordinasi bernama Thinker dan Talker. Thinker menangani sebagian besar pemahaman dan penalaran multimodal. Talker mengubah representasi tingkat tinggi menjadi suara dengan mempertahankan tempo dan karakter.

Tiga varian model untuk kebutuhan berbeda

Alibaba Cloud merilis tiga opsi dalam keluarga Qwen3 Omni 30B A3B agar tim dapat memilih yang paling sesuai:

• Instruct, yang menggabungkan Thinker dan Talker untuk masukan teks, gambar, audio, dan video, dengan keluaran teks maupun suara.
• Thinking, yang berfokus pada penalaran mendalam dan rangkaian pemikiran panjang, menerima masukan multimodal yang sama, tetapi hanya menghasilkan keluaran teks.
• Captioner, yang ditujukan untuk membuat takarir dan deskripsi audio dengan tingkat halusinasi rendah, berguna untuk analisis media, aksesibilitas, dan moderasi konten.

API-nya juga menyediakan varian Flash yang dirancang untuk latensi lebih rendah dan konkurensi lebih tinggi. Ini dapat berguna jika Anda membangun asisten pusat panggilan atau panduan belanja yang harus menangani lonjakan trafik tanpa menunda jawaban.

Arsitektur Thinker dan Talker

Qwen3 Omni membagi tanggung jawab agar suara tetap alami dan penalaran tetap fleksibel. Thinker adalah inti model multimodal. Komponen ini menyelaraskan dan memadukan fitur teks, gambar, audio, dan video, lalu menghasilkan representasi tingkat token yang mengarahkan respons. Talker adalah generator suara khusus. Alih-alih menggunakan keluaran Thinker sebagai teks, komponen ini secara langsung memanfaatkan fitur audio dan visual. Desain tersebut membantu Talker menyelaraskan prosodi dan warna suara dengan apa yang dilihat dan didengarnya, sehingga meningkatkan karakteristik penerjemahan dan peran suara seperti tempo, penekanan, dan nada emosional.

Untuk mengurangi latensi suara, Talker menggunakan skema autoregresif multi-codebook yang memprediksi token akustik diskret. Selanjutnya, jaringan konvolusional Code2Wav yang ringan mengubah token tersebut menjadi gelombang suara. Karena Talker tidak terikat pada teks Thinker, modul eksternal dapat memengaruhi atau menyaring keluaran Thinker sebelum suara dibuat. Hal ini membuat alur kerja keselamatan lebih praktis, karena pemeriksaan kebijakan dan langkah pengambilan informasi dapat dijalankan di antara proses berpikir dan berbicara. Kinerja streaming menjadi fokus utama. Menurut angka dari perusahaan, audio paket pertama dihasilkan dalam sekitar 234 milidetik dan video paket pertama dalam sekitar 547 milidetik. Sistem ini tetap berada di bawah faktor waktu nyata 1, artinya audio dapat dihasilkan lebih cepat daripada durasi pemutarannya, bahkan saat menangani banyak permintaan.

Arsitektur ini menggunakan Mixture of Experts untuk Thinker maupun Talker. Dalam Mixture of Experts, model terdiri atas banyak jaringan pakar kecil dan jaringan gerbang yang mengarahkan setiap token ke beberapa di antaranya. Hanya sebagian kecil parameter yang dijalankan untuk tiap token, sehingga mendukung konkurensi tinggi dan membantu menjaga respons inferensi. Bagi pengembang, hal ini dapat menjadi pembeda antara asisten yang menyela dan berinteraksi dengan bot yang menunggu giliran untuk berbicara.

Cara pengembangan dan fitur yang didukung

Kinerja audio dimulai dari encoder. Qwen3 Omni memperkenalkan Audio Transformer yang dibangun dari awal dan dilatih menggunakan sekitar 20 juta jam data berlabel. Campuran data pelatihan ini sebagian besar terdiri atas data pengenalan ucapan otomatis dalam bahasa Mandarin dan Inggris, ditambah data dari bahasa lain serta tugas yang berfokus pada pemahaman audio. Encoder ini memiliki sekitar 600 juta parameter, mendukung cache streaming untuk latensi rendah, dan dapat dijalankan secara luring untuk tugas analisis seperti rekaman panjang. Encoder tersebut memasok inti multimodal melalui tahap penyelarasan agar model dapat bernalar lintas format.

Prapelatihan dilakukan dalam tiga tahap. Pada tahap penyelarasan encoder, encoder penglihatan dan audio dilatih serta diselaraskan sementara model bahasa dibekukan. Dalam pelatihan umum, tim meningkatkan skala hingga sekitar 2 triliun token yang mencakup teks, audio, gambar, serta sejumlah video dan pasangan audio-video. Pada pelatihan konteks panjang, panjang token maksimum ditingkatkan dari 8.192 menjadi 32.768 sambil menambahkan lebih banyak rangkaian audio dan video panjang. Pascapelatihan mencakup fine-tuning terawasi, distilasi dari model pengajar yang lebih kuat, serta optimasi kebijakan menggunakan aturan dan penilaian model untuk Thinker. Talker menjalani proses empat tahap yang menggunakan ratusan juta sampel suara multimodal yang dipadukan dengan prapelatihan berkelanjutan, dengan tujuan menurunkan halusinasi dan meningkatkan kualitas suara.

Kemampuan dan batasannya tergolong luas untuk keluarga model berparameter 30 miliar. Qwen3 Omni mendukung 119 bahasa untuk teks, 19 bahasa untuk masukan suara, dan 10 bahasa untuk keluaran suara. Thinking Mode memungkinkan jendela konteks 65.536 token, Non Thinking Mode mendukung 49.152 token, dan model ini mendukung hingga 16.384 token untuk masukan serta 16.384 token untuk keluaran. Rangkaian pemikiran terpanjang dapat mencapai 32.768 token. Skala ini membantu menangani transkrip kompleks, rapat panjang, atau basis kode dan dokumen yang akan melampaui kapasitas model lain tanpa dibagi menjadi beberapa bagian.

Tolok ukur, keunggulan, dan cara membaca klaim

Dalam 36 tolok ukur, Alibaba melaporkan Qwen3 Omni meraih skor tertinggi pada 22 tolok ukur dan menjadi model sumber terbuka terdepan pada 32 tolok ukur. Hasil teks dan penalaran mencakup skor 65,0 pada AIME25, jauh di atas angka 26,7 yang diungkapkan untuk GPT 4o, serta 76,0 pada ZebraLogic, melampaui angka 57,9 yang dipublikasikan untuk Gemini 2.5 Flash. WritingBench mencatat skor 82,6, dibandingkan 75,5 untuk GPT 4o. Pada tugas suara dan audio, Word Error Rate di Wenetspeech masing-masing sebesar 4,69 dan 5,89 pada dua pembagian pengujian umum, jauh lebih baik daripada angka 15,30 dan 32,27 yang dilaporkan untuk GPT 4o. Skor WER Librispeech other turun menjadi 2,48, termasuk rendah di antara model sejenis.

Hasil gambar dan penglihatan mencakup skor 59,7 pada HallusionBench, 57,0 pada MMMU pro, dan 56,3 pada MathVision full, yang masing-masing melampaui GPT 4o menurut laporan perusahaan. Untuk pemahaman video, model ini mencapai 75,2 pada MLVU, melampaui angka Gemini 2.0 Flash sebesar 71,0 dan GPT 4o sebesar 64,6. Tugas musik juga menunjukkan peningkatan, dengan skor 93,0 pada GTZAN dan 52,0 pada RUL MuchoMusic. Gambaran dari angka-angka ini sejalan dengan fokus desainnya. Qwen3 Omni menetapkan standar tinggi untuk pemahaman audio dan audio-visual, sekaligus mempertahankan kemampuan teks dan gambar yang kuat.

Tolok ukur memang berguna, tetapi tetap merupakan pengujian terkontrol. Kumpulan data dan metode penilaian dapat menguntungkan campuran pelatihan tertentu. Penerapan di dunia nyata menghadirkan tantangan baru seperti mikrofon berisik, aksen, kamera ponsel yang menghasilkan gambar kurang baik, dan pergantian konteks yang cepat. Model multimodal juga menghadapi kompromi umum: pelatihan yang mencakup banyak modalitas dapat sedikit mengurangi kinerja teks saja dibandingkan model yang lebih besar dan mengutamakan teks. Tim sebaiknya menjalankan uji coba terarah menggunakan data mereka sendiri, lalu memilih strategi model campuran bila perlu. Banyak perusahaan memadukan model multimodal yang lebih kecil untuk mendengar dan melihat dengan model teks yang lebih besar untuk menyusun laporan atau surel. Lisensi Apache yang terbuka mempermudah orkestrasi semacam itu tanpa hambatan pengadaan.

Perbandingan dengan GPT 4o, Gemini 2.5 Pro, dan Gemma 3n

OpenAI menetapkan ekspektasi melalui GPT 4o, yang menyatukan teks, gambar, dan audio dengan integrasi erat serta suara alami. Qwen3 Omni menambahkan analisis video ke dalam daftar masukan. Google menghadirkan analisis video di Gemini 2.5 Pro, tetapi model tersebut tetap berpemilik. Google juga menawarkan Gemma 3n sebagai model terbuka. Model ini menerima masukan teks, gambar, audio, dan video, tetapi hanya menghasilkan keluaran teks. Qwen3 Omni menghasilkan teks dan suara, sehingga membuka lebih banyak kemungkinan penggunaan interaktif seperti penerjemahan langsung atau pengalihan tugas oleh agen di pusat panggilan.

Aspek lain yang membedakan model ini adalah lisensinya. Qwen3 Omni dirilis dengan lisensi Apache 2.0 beserta lisensi paten, yang memungkinkan perusahaan menggunakan, memodifikasi, dan meluncurkan produk tanpa kewajiban mengungkapkan kode sumber atau membayar biaya penggunaan. Model tertutup mengharuskan akses berbayar dan membatasi penggunaan pada platform penyedia. Ada nuansa umum pada rilis terbuka modern: bobot model dan kode penggunaan tersedia, sedangkan resep lengkap untuk membangunnya dari awal, termasuk data pelatihan yang telah dikurasi, biasanya tidak dipublikasikan. Bagi banyak pengguna, kemampuan menjalankan model, melakukan fine-tuning, dan mengintegrasikannya ke lingkungan produksi adalah tujuan utama, dan hal itu dimungkinkan di sini.

Latensinya kompetitif. Alibaba mencatat audio paket pertama sekitar 234 milidetik dan video sekitar 547 milidetik. Angka tersebut sekelas dengan sistem percakapan terbaik. Perusahaan perlu mengevaluasi sasaran tingkat layanan di luar waktu paket pertama, termasuk waktu hingga konten stabil dan total waktu respons untuk jawaban panjang. Qwen3 Omni juga menyediakan varian API Flash untuk respons yang lebih cepat, dengan konsep serupa tingkat layanan berfokus kecepatan dalam ekosistem lain.

Akses, harga, dan kuota gratis

Pengembang dapat mencoba Qwen3 Omni melalui beberapa cara. Bobot model tersedia di pusat-pusat model utama. API menyediakan akses sesuai permintaan dengan kuota gratis satu juta token lintas modalitas selama 90 hari setelah aktivasi. Harga dihitung per seribu token. Masukan teks dikenai biaya 0,00025 dolar. Masukan audio dikenai biaya 0,00221 dolar. Masukan gambar dan video dikenai biaya 0,00046 dolar. Keluaran teks dikenai biaya 0,00096 dolar per seribu token jika masukannya hanya teks, atau 0,00178 dolar jika masukannya mencakup gambar atau audio. Jika Anda meminta keluaran teks sekaligus audio, bagian audio dikenai biaya 0,00876 dolar per seribu token, sedangkan bagian teks gratis.

Angka-angka ini tergolong rendah dibandingkan banyak layanan tertutup, sehingga mendukung eksperimen tanpa tagihan besar. Menurut perusahaan, harga untuk Thinking Mode dan Non Thinking Mode sama. Keluaran audio hanya tersedia dalam Non Thinking Mode. Platform ini juga mencantumkan batas konteks dan opsi model di Model Studio, tempat perusahaan dapat memilih model berdasarkan kecepatan, kualitas, dan biaya. Informasi resmi tersedia di halaman Alibaba Cloud Model Studio melalui tautan ini.

Kasus penggunaan, dari meja dukungan hingga perangkat media

Qwen3 Omni ditujukan untuk pekerjaan yang terbantu dengan kemampuan melihat, mendengar, dan berbicara. Beberapa contoh menunjukkan cakupan penggunaannya:

• Dukungan teknis langsung. Asisten dapat mengamati siaran kamera ponsel sambil mendengarkan pelanggan, lalu memberikan panduan langkah demi langkah dengan suara alami.
• Transkripsi dan penerjemahan multibahasa. Model ini mentranskripsikan rapat, panggilan, atau kuliah dalam berbagai bahasa, lalu membuat ringkasan berbahasa Inggris atau menyampaikan jawaban dalam bahasa lain.
• Pembuatan takarir audio dan penandaan musik. Varian Captioner membuat deskripsi audio dengan tingkat halusinasi rendah, termasuk suara latar dan karakteristik musik, yang berguna untuk pencarian dan pengelolaan hak.
• Pemahaman video. Model ini dapat menjawab pertanyaan tentang kejadian dalam klip, melacak peristiwa, dan merangkum adegan.
• OCR dan pemrosesan dokumen. Perpaduan penglihatan dan bahasa membantu mengekstrak kolom dari formulir atau kuitansi, lalu memvalidasinya berdasarkan konteks.
• Asisten konsumen. Perangkat sandang atau ponsel dapat menggunakan model ini untuk menerjemahkan menu, mengenali tengara, dan mendukung fitur aksesibilitas seperti mendeskripsikan lingkungan sekitar.

Pengembang dapat menyempurnakan gaya percakapan dan persona melalui perintah sistem. Penggunaan alat juga didukung sehingga model dapat memanggil layanan eksternal untuk mengambil informasi, melakukan perhitungan, atau mencari di basis data. Hal ini memungkinkan pola kerja bergaya agen, saat model menyusun rencana, memanggil alat, lalu menyampaikan hasilnya dengan suara.

Dampak lisensi terhadap perusahaan

Lisensi Apache 2.0 merupakan bagian penting dari cerita ini. Lisensi tersebut mengizinkan penggunaan komersial, modifikasi, dan redistribusi serta mencakup lisensi paten yang mengurangi risiko hukum saat model diintegrasikan ke sistem berpemilik. Perusahaan dapat menyematkan Qwen3 Omni ke dalam produk atau alur kerja internal tanpa biaya vendor, dan tidak harus membuka kode sumber atas perubahan mereka. Hal ini menarik bagi sektor yang diatur ketat, yang mensyaratkan kendali atas perutean dan pencatatan data. Bobot model terbuka juga memungkinkan penerapan di lokasi sendiri atau hosting di cloud tepercaya.

Rilis terbuka tidak otomatis menyelesaikan semua persoalan. Data pelatihan dan kode pelatihan lengkap biasanya tidak disertakan, sehingga komunitas tidak dapat mereproduksi seluruh proses pembuatannya. Bagi banyak perusahaan, hal ini dapat diterima karena fokusnya adalah menjalankan dan menyesuaikan model serta memenuhi sasaran tingkat layanan. Rilis ini memperkuat alasan untuk menggunakan tumpukan beberapa model. Tim dapat menggabungkan model multimodal terbuka yang cepat dengan model berpemilik yang lebih besar jika diperlukan, atau mempertahankan seluruh sistem dalam bentuk terbuka untuk menghindari batasan platform. Apa pun pilihannya, ketersediaan model yang mampu memahami video dan menghasilkan suara dengan lisensi permisif memperluas kemungkinan pengembangan tanpa negosiasi panjang.

Risiko, perlindungan, dan hal yang perlu dievaluasi selanjutnya

Model multimodal menimbulkan pertanyaan keamanan dan keselamatan yang melampaui teks. Masukan audio dan video dapat membawa informasi sensitif. Keluaran suara dapat menyesatkan jika tidak berpijak pada informasi yang benar atau tidak disaring. Alibaba menjelaskan adanya tahap gerbang yang memungkinkan modul eksternal mencegat keluaran Thinker sebelum Talker menghasilkan suara. Desain ini mendukung pemeriksaan kebijakan, pengambilan informasi, atau penyaring red team. Perusahaan tetap perlu memvalidasi keamanan konten di lingkungan dan wilayah mereka sendiri, termasuk pertahanan terhadap injeksi perintah, kendali privasi, serta persetujuan untuk perekaman atau analisis.

Klaim kinerja perlu diuji dengan data nyata. Aksen, jargon bidang tertentu, dan kebisingan latar dapat menurunkan kualitas pengenalan ucapan otomatis. Cahaya redup atau gambar buram akibat gerakan dapat mengurangi kemampuan pemahaman visual. Penggunaan alat dan orkestrasi agen menghadirkan modus kegagalan baru, seperti pemanggilan alat yang keliru atau proses yang berulang tanpa henti. Kebijakan tata kelola diperlukan untuk pencatatan, tinjauan manusia, dan pemulihan versi. Terakhir, infrastruktur juga penting. Menjalankan suara waktu nyata dalam skala besar memerlukan perencanaan cermat terkait throughput, memori GPU, dan pengurangan beban saat terjadi lonjakan. Mixture of Experts membantu efisiensi, tetapi tim tetap perlu menentukan kapasitas klaster dan cache untuk lonjakan beban serta konteks panjang.

Poin Utama

• Alibaba merilis Qwen3 Omni sebagai model terbuka dengan lisensi Apache 2.0, yang menghasilkan teks dan suara serta menerima masukan teks, gambar, audio, dan video.
• Sistem ini menggunakan desain Thinker dan Talker dengan Mixture of Experts untuk mendukung konkurensi dan streaming suara berlatensi rendah.
• Latensi paket pertama yang dilaporkan sekitar 234 milidetik untuk audio dan 547 milidetik untuk video, dengan faktor waktu nyata di bawah 1.
• Tersedia tiga varian: Instruct untuk interaksi penuh, Thinking untuk penalaran mendalam dengan keluaran teks, dan Captioner untuk pembuatan takarir audio.
• Pelatihan mencakup Audio Transformer khusus yang dilatih menggunakan sekitar 20 juta jam data dan korpus multimodal sekitar 2 triliun token.
• Menurut tolok ukur yang dilaporkan perusahaan, Qwen3 Omni unggul dalam banyak pengujian audio, video, dan penalaran, serta tetap kompetitif dalam teks dan penglihatan.
• Harganya rendah per seribu token, dengan kuota API gratis satu juta token selama 90 hari, dan bobot model tersedia untuk hosting mandiri.
• Lisensi Apache 2.0 memungkinkan penggunaan komersial, modifikasi, dan redistribusi, termasuk pemberian hak paten, sehingga mengurangi keterikatan pada vendor.
• Perusahaan perlu menguji keselamatan, latensi, dan akurasi menggunakan data nyata, serta merencanakan tata kelola dan infrastruktur untuk mendukung beban kerja waktu nyata.