Alibaba Memperkenalkan Qwen3-Omni: Model AI Multimodal Sumber Terbuka

Model multimodal yang sejak awal dirancang terpadu hadir sebagai sumber terbuka

Alibaba Cloud memperkenalkan Qwen3-Omni, model AI multimodal yang secara native menyatukan teks, gambar, audio, dan video dalam satu sistem. Peluncuran ini membawa persaingan asisten real-time ke ranah baru dengan memadukan kapabilitas luas dan lisensi sumber terbuka yang ramah bagi perusahaan. Model ini menerima masukan dalam keempat modalitas, lalu merespons dalam bentuk teks atau ujaran alami. Model tersebut tersedia untuk diunduh, dimodifikasi, dan digunakan secara komersial secara gratis di bawah Apache 2.0, lisensi permisif yang mencakup pemberian hak paten. Langkah ini menempatkan Alibaba sebagai alternatif yang kredibel bagi produk berpemilik dari OpenAI dan Google, sekaligus memberi pengembang kendali penuh atas cara dan lokasi model dijalankan.

Qwen3-Omni hadir sebagai bagian dari seri model Qwen yang cakupannya terus berkembang. Tim tersebut menyatakan bahwa model baru ini dilatih menggunakan korpus teks berskala besar serta data audio dan visual yang sangat luas, lalu disempurnakan agar responsif dalam percakapan langsung. Model ini hadir dalam tiga varian utama yang dirancang untuk kebutuhan umum. Model Instruct menangani masukan campuran dan dapat mengucapkan jawabannya. Model Thinking berfokus pada penalaran yang lebih sulit dengan konteks panjang. Model Captioner dikhususkan untuk membuat takarir audio dengan halusinasi rendah. Model ini tersedia melalui repositori GitHub resmi, hub model seperti Hugging Face, serta API yang di-host dengan opsi layanan Flash yang lebih cepat. Peluncuran pada larut malam itu juga mencakup sistem Qwen3 TTS baru dan model penyunting gambar, mencerminkan upaya menghadirkan rangkaian lengkap untuk interaksi multimodal.

Mengapa peluncuran ini penting

Asisten multimodal mulai beralih dari demo ke beban kerja produksi. Perusahaan menginginkan satu model yang dapat mendengar, melihat, membaca, dan bernalar secara real-time, lalu berbicara kembali dengan intonasi alami. Qwen3-Omni menyasar kebutuhan tersebut. Perpaduan akses terbuka dan klaim skor mutakhir pada beragam pengujian ujaran, audio, gambar, dan video menjadikan pengumuman ini penting bagi pembeli yang membutuhkan fleksibilitas, kendali biaya, dan penerapan di infrastruktur sendiri.

Perbedaan Qwen3-Omni dengan GPT-4o dan Gemini

Para pesaing memopulerkan gagasan model omni yang dapat melihat, mendengar, dan berbicara. OpenAI menyatukan teks, gambar, dan audio dalam GPT-4o. Google memperluas analisis ke video untuk Gemini 2.5 pada beberapa tingkat produk. Qwen3-Omni dibangun dari awal sebagai satu sistem menyeluruh untuk keempat jenis masukan. Model ini mendukung pemahaman video seperti deteksi adegan dan pelacakan peristiwa, menerima gambar diam dan dokumen untuk OCR serta pengaitan konteks, mendengarkan suara, dan membaca teks. Respons disampaikan dalam bentuk teks atau ujaran, sehingga keluaran tetap sederhana untuk interaksi langsung sekaligus menghindari kerumitan pembuatan gambar atau video.

Perbedaan utama lainnya adalah ketersediaannya. Qwen3-Omni dirilis di bawah Apache 2.0, yang memungkinkan perusahaan mengunduh bobot model, menjalankannya di infrastruktur sendiri, dan menyempurnakan perilakunya untuk sektor tertentu tanpa perlu menegosiasikan lisensi. Sistem berpemilik membatasi hosting mandiri atau mengenakan biaya per token untuk setiap interaksi. Keluarga model terbuka lain dari Google, Gemma, masih hanya mendukung teks, sehingga tidak memiliki cakupan multimodal yang sama. Bagi tim yang ingin menggunakan satu model terbuka untuk tugas suara, visi, dan teks, Qwen3-Omni mengisi celah tersebut.

Kecepatan untuk percakapan langsung

Alibaba memublikasikan angka latensi teoretis untuk paket pertama, yakni sekitar 234 milidetik untuk audio dan sekitar 547 milidetik untuk video. Rentang tersebut sesuai dengan ekspektasi manusia dalam bergiliran berbicara dan membuat penggunaan real-time memungkinkan di berbagai wilayah jika dipadukan dengan streaming yang efisien. Angka yang dilaporkan diukur pada sistem internal, sehingga hasil produksi akan bervariasi menurut perangkat keras, jumlah pengguna serentak, dan kondisi jaringan. Meski begitu, latensi di bawah satu faktor real-time saat sistem dibebani menunjukkan bahwa desainnya dioptimalkan untuk penerapan praktis.

Arsitektur di baliknya

Model ini mengikuti desain dua bagian yang oleh tim disebut Thinker dan Talker. Thinker menangani pemahaman dan penalaran multimodal. Komponen ini membaca teks, melihat piksel, dan memproses fitur audio, lalu merencanakan serta menyusun konten. Talker berfokus pada ujaran, mengubah representasi tingkat tinggi menjadi suara alami untuk balasan streaming. Pemisahan peran ini memungkinkan sistem ujaran berjalan dengan iramanya sendiri sementara model bahasa berpikir beberapa langkah ke depan.

Kedua komponen menggunakan Mixture of Experts, teknik yang melatih banyak subrangkaian khusus tetapi hanya mengaktifkan beberapa di antaranya untuk setiap token. Cara ini meningkatkan kapasitas pemrosesan saat banyak pengguna mengakses secara bersamaan tanpa mengaktifkan seluruh parameter pada setiap langkah. Pipeline ujaran menggunakan skema autoregresif multi-codebook yang memadatkan audio menjadi kode diskret. Jaringan konvolusional Code2Wav yang ringan mengubah kode tersebut menjadi gelombang suara. Pendekatan ini mengurangi jeda sekaligus mempertahankan timbre dan prosodi agar suara terdengar tidak terlalu robotik pada latensi rendah.

Talker tidak bergantung pada representasi teks milik Thinker dan menerima fitur audio serta visual secara langsung. Pilihan ini membantu suara selaras dengan apa yang terjadi di layar dalam interaksi audiovisual. Pada sisi persepsi, encoder Audio Transformer dilatih menggunakan sekitar 20 juta jam audio berlabel. Prapelatihan berlangsung dalam beberapa tahap. Tim menyelaraskan encoder, melatih model dengan sekitar dua triliun token yang mencakup teks, audio, gambar, dan video, lalu memperluas konteks untuk sesi panjang. Pelatihan lanjutan mencakup penyetelan halus terawasi, distilasi, dan tahap optimasi untuk Thinker maupun Talker.

Varian, bahasa, dan batas konteks

Qwen3-Omni hadir sebagai Qwen3-Omni-30B-A3B dalam tiga varian publik. Model Instruct menerima masukan audio, video, dan teks, lalu menghasilkan teks dan ujaran. Model Thinking menyasar penalaran sulit, langkah matematis, dan perencanaan dengan keluaran teks. Captioner disetel khusus untuk membuat takarir audio secara terperinci. Opsi Flash yang di-host ditujukan untuk mempercepat interaksi melalui Alibaba Cloud.

Dukungan multibahasa menjadi fokus. Model dasar mendukung 119 bahasa dalam teks, 19 bahasa untuk masukan ujaran, dan 10 bahasa untuk keluaran ujaran, termasuk dialek yang banyak digunakan seperti Kanton. Cakupan ini dapat menyederhanakan penerapan global yang mengharuskan pengalaman suara menyesuaikan aksen dan aksara lokal.

Sesi dapat berlangsung panjang. Thinking Mode menawarkan jendela konteks hingga 65.536 token. Non Thinking Mode mendukung hingga 49.152 token. Batas maksimum masukan dan keluaran ditetapkan sebesar 16.384 token. Untuk penalaran kompleks, rangkaian penalaran terpanjang dapat mencapai 32.768 token. API menggunakan penagihan berbasis token per 1.000 token dengan tarif terpisah untuk masukan teks, audio, gambar atau video, serta keluaran teks atau audio. Akun baru menerima kuota gratis satu juta token untuk seluruh modalitas selama 90 hari setelah aktivasi.

Benchmark dan cara memahaminya

Alibaba melaporkan hasil dari 36 benchmark yang mencakup teks dan penalaran, ujaran dan audio, gambar dan visi, serta tugas video audiovisual. Menurut perusahaan, Qwen3-Omni meraih skor mutakhir pada 22 pengujian dan memimpin model sumber terbuka pada 32 pengujian. Tim tersebut juga menyatakan bahwa model ini mengungguli GPT-4o dan Gemini 2.5 Pro dalam banyak evaluasi audio dan audiovisual. Kategorinya mencakup pengenalan ujaran, pemahaman audio, tanya jawab audiovisual, deskripsi video, dan pembuatan suara. Dalam tugas yang banyak menggunakan teks, model ini dilaporkan menyamai beberapa model keluarga Qwen khusus teks.

Benchmark adalah panduan, bukan jaminan. Cakupan rangkaian pengujian, format instruksi, dan aturan penilaiannya berbeda-beda. Vendor memilih metrik yang dipublikasikan, dan hasil tiap pengujian dapat menguntungkan arsitektur atau data pelatihan tertentu. Penerapan nyata melibatkan audio bising, mikrofon beragam, pergantian adegan cepat, dan berbagai aksen. Tim sebaiknya mengevaluasi model menggunakan sampel sendiri, menguji tekanan untuk melihat halusinasi, dan mengukur biaya terhadap kapasitas pemrosesan. Meski demikian, luasnya cakupan tugas dalam hasil yang dilaporkan menunjukkan bahwa model ini dilatih dengan multimodalitas sebagai tujuan utama, bukan ditambahkan belakangan melalui adaptor.

Dalam dokumentasi resmi, tim Qwen menggambarkan Qwen3-Omni sebagai model multibahasa native yang memproses teks, gambar, audio, dan video, lalu memberikan respons streaming berupa teks dan ujaran. Desainnya bertujuan menjaga ujaran tetap alami sementara model bahasa merencanakan langkah berikutnya.

Apa yang dapat dibangun pengembang saat ini

Repositori dan demonya mencakup panduan praktik untuk berbagai tugas umum yang sudah dapat berjalan dengan baik tanpa banyak penyesuaian. Tim dapat memulai dari contoh sederhana lalu mengembangkannya menjadi fitur produksi seiring meningkatnya keyakinan.

Kasus penggunaan umum

Berikut sejumlah skenario yang sesuai dengan keunggulan model dalam persepsi, penalaran, dan suara:

• Pengenalan ujaran multibahasa untuk panggilan langsung, rapat, dan media.
• Penerjemahan ujaran antara pasangan bahasa yang banyak digunakan, disertai balasan lisan.
• Pembuatan takarir audio untuk suara lingkungan dan pemberian tag musik.
• OCR untuk dokumen dan tangkapan layar, dengan jawaban yang merujuk pada bagian sumber.
• Tanya jawab gambar untuk diagram atau dasbor yang kompleks.
• Deskripsi video, sorotan, dan deteksi peristiwa untuk menelusuri klip panjang.
• Tanya jawab audiovisual untuk pelatihan, dukungan, dan konten panduan.
• Dukungan teknis real-time yang mendengarkan, melihat, dan memandu proses perbaikan.
• Alur kerja mirip agen yang memanggil alat dan API eksternal untuk menyelesaikan tugas.

Perilaku model dapat diatur melalui prompt sistem untuk menentukan persona, nada, dan format. Model ini mendukung streaming real-time sehingga dapat memberikan jawaban sementara saat proses penalaran berlanjut. Gaya ini terasa lebih alami pada asisten suara, yang lebih baik menggunakan jeda singkat dan klarifikasi cepat daripada diam lama. Untuk penerapan sensitif, tim dapat menyiapkan lapisan keamanan yang mencakup penguatan prompt, filter konten untuk teks dan audio, serta mesin kebijakan yang mencatat konteks dan keputusan.

Pertimbangan bisnis dan lisensi perusahaan

Keputusan merilis model ini di bawah Apache 2.0 merupakan hal penting. Lisensi tersebut mengizinkan penggunaan komersial, distribusi, modifikasi, dan pemberian lisensi turunan. Lisensi ini juga mencakup hak paten yang mengurangi paparan risiko hukum saat model disematkan ke dalam produk. Perusahaan dapat menjalankan Qwen3-Omni di klaster privat atau cloud tepercaya, menyesuaikannya dengan data mereka, dan merilis perangkat lunak tanpa membayar biaya penggunaan kepada vendor. Kombinasi ini menghindari ketergantungan pada satu penyedia dan menurunkan hambatan untuk bereksperimen di berbagai tim.

Alibaba menyoroti ekosistem keluarga Qwen yang terus berkembang. Perusahaan menyatakan bahwa grup tersebut telah merilis ratusan model sejak checkpoint Qwen pertama hadir, dan jumlah unduhannya mencapai ratusan juta. Pengembang telah menerbitkan puluhan ribu model turunan di hub publik, sehingga mempercepat perjalanan dari prototipe ke produksi. Bagi industri yang diatur ketat, tumpukan multimodal yang di-host sendiri dapat membantu memenuhi persyaratan residensi data dan audit sekaligus menjaga biaya inferensi tetap terukur.

Biaya dan operasional

Menjalankan model multimodal membutuhkan perencanaan. Memori GPU, bandwidth penyimpanan untuk audio dan video, serta jaringan cepat untuk streaming, semuanya memengaruhi responsivitas. API berbasis token memudahkan tahap awal sementara tim infrastruktur menentukan ukuran klaster. Kuota gratis 90 hari sebesar satu juta token cukup untuk menguji kelayakan, menyempurnakan prompt, dan mengukur kualitas menggunakan data internal. Saat beban kerja meningkat, organisasi biasanya mengombinasikan beberapa model. Model terbuka dapat menangani sebagian besar tugas harian, sementara API berpemilik digunakan untuk kasus khusus atau fitur tertentu. Pendekatan ini menekan pengeluaran tanpa mengorbankan fleksibilitas.

Risiko dan penerapan yang bertanggung jawab

Kemampuan memahami audio dan video yang canggih memungkinkan produk yang menarik. Namun, kemampuan ini juga meningkatkan risiko penyalahgunaan. Sintesis suara dapat meniru gaya bicara meski model tidak menghasilkan suara target tertentu secara default. Agen real-time yang melihat dan mendengarkan pengguna membutuhkan alur persetujuan yang jelas, penyimpanan aman, dan kebijakan penghapusan data. Tim hukum sebaiknya meninjau perpindahan data antara perekaman di perangkat, server, dan log, serta menetapkan masa penyimpanan yang sesuai dengan regulasi.

Perusahaan sebaiknya menguji model secara ketat untuk mendeteksi halusinasi, bias, dan konten berbahaya. Pembuatan takarir audio dapat keliru menafsirkan suara di lingkungan yang ramai. Deskripsi video dapat kehilangan konteks ketika adegan berganti. Konteks panjang dapat menyebabkan instruksi menyimpang. Rencana evaluasi yang baik mencakup prompt adversarial, cakupan aksen dan dialek, serta uji red-team untuk menguji batas keamanan. Mekanisme umpan balik yang memungkinkan pengguna akhir melaporkan masalah membantu meningkatkan model sekaligus menjaga akuntabilitas penerapan.

Cara memulai

Pengembang dapat mengunduh bobot model dan contoh dari repositori GitHub resmi Qwen3-Omni. Panduan mulai cepat menjelaskan cara menjalankan model dengan pustaka populer seperti Transformers dan vLLM. Citra Docker dan demo UI web juga tersedia untuk uji coba cepat. Akses yang di-host melalui API Alibaba cocok bagi tim yang ingin membuat prototipe dengan ujaran streaming sebelum menyiapkan infrastruktur sendiri. Hub model menyediakan checkpoint siap pakai dan panduan komunitas untuk penyetelan halus serta evaluasi.

Tautan: Qwen3-Omni di GitHub

Poin Utama

• Alibaba merilis Qwen3-Omni sebagai sumber terbuka di bawah Apache 2.0 dengan pemberian hak paten, sehingga dapat digunakan dan didistribusikan secara komersial tanpa biaya.
• Model ini menerima teks, gambar, audio, dan video, serta merespons dalam bentuk teks atau ujaran alami dengan streaming real-time.
• Tersedia tiga varian: Instruct untuk interaksi multimodal, Thinking untuk penalaran kompleks, dan Captioner untuk pembuatan takarir audio.
• Latensi yang dilaporkan sekitar 234 ms untuk audio dan sekitar 547 ms untuk video, dirancang untuk mendukung percakapan bergiliran secara alami.
• Dukungan mencakup 119 bahasa teks, 19 bahasa masukan ujaran, dan 10 bahasa keluaran ujaran, termasuk Kanton.
• Dalam 36 pengujian, Alibaba melaporkan hasil mutakhir pada 22 pengujian dan keunggulan di antara model terbuka pada 32 pengujian, dengan hasil audio dan video yang kuat.
• Jendela konteks mencapai 65.536 token dalam Thinking Mode, dengan batas maksimum masukan atau keluaran sebesar 16.384 token.
• API menawarkan kuota gratis satu juta token selama 90 hari, dengan penagihan per 1.000 token untuk berbagai modalitas.
• Kasus penggunaan mencakup transkripsi, penerjemahan, OCR, pemberian tag musik, pemahaman video, dan asisten real-time.
• Perusahaan dapat meng-host model sendiri, menyempurnakannya, dan mengintegrasikan Qwen3-Omni sembari menerapkan perlindungan keamanan, privasi, dan kepatuhan.