Alibaba Meluncurkan Qwen3-Omni: Model AI Multimodal Sumber Terbuka

Penantang multimodal native hadir sebagai sumber terbuka

Alibaba memperkenalkan Qwen3-Omni, model kecerdasan buatan multimodal native yang menerima teks, gambar, audio, dan video sebagai masukan, lalu merespons dalam bentuk teks atau ucapan sintetis. Model ini tersedia sebagai sumber terbuka di bawah lisensi Apache 2.0, yang mengizinkan penggunaan komersial, modifikasi, dan redistribusi, serta memberikan lisensi paten. Perpaduan kemampuan luas dan lisensi permisif ini menempatkan Qwen3-Omni sebagai pesaing langsung sistem tertutup terkemuka dari Amerika Serikat, sekaligus menurunkan hambatan adopsi bagi startup, peneliti, dan perusahaan besar.

Qwen3-Omni mengikuti pergeseran industri menuju model omni, yakni kelas sistem yang dirancang untuk memahami dan bertindak lintas modalitas secara real-time. Tidak seperti rangkaian sistem yang menambahkan kemampuan bicara atau visi di atas model teks, Alibaba menyatakan Qwen3-Omni dibangun sebagai sistem multimodal menyeluruh. Model ini memproses audio dan video secara langsung saat berpikir serta menghasilkan ucapan melalui modul khusus, sehingga dapat menjaga ritme percakapan, nada, dan konteks tanpa perlu menunggu seluruh berkas selesai diproses.

Peluncuran pertama berpusat pada keluarga model berparameter 30 miliar yang menggunakan desain Mixture of Experts agar inferensi tetap cepat dan skalabel. Alibaba melaporkan latensi paket pertama serendah 234 milidetik untuk audio dan 547 milidetik untuk video, dengan RTF (faktor real-time) di bawah satu bahkan saat dijalankan secara bersamaan. Sistem ini mendukung 119 bahasa untuk teks, 19 bahasa untuk masukan ucapan, dan 10 bahasa untuk keluaran ucapan, sehingga membuka peluang bagi asisten multibahasa, pusat panggilan, dan penerjemahan langsung.

Peluncuran ini hadir ketika Alibaba memosisikan bisnis cloud-nya sebagai penyedia AI dengan tumpukan teknologi lengkap, sementara model terbuka dari China kian populer di platform pengembang. Dalam hitungan hari, berbagai varian Qwen3-Omni menempati posisi teratas dalam peringkat tren di Hugging Face, mencerminkan tingginya minat komunitas global. Perusahaan ini juga menyediakan versi API yang lebih cepat serta menghosting bobot model untuk diunduh langsung dan dijalankan secara lokal.

Keunggulan Qwen3-Omni

Qwen3-Omni dirancang untuk berpikir dan berbicara secara bersamaan. Komponen Thinker menangani penalaran multimodal. Komponen Talker mengubah keluaran Thinker menjadi ucapan alami dengan menggunakan fitur audio dan visual secara langsung sebagai konteks. Pemisahan ini memungkinkan pengembang menyisipkan pencarian informasi, pemeriksaan keamanan, atau logika bisnis pada tahap Thinker sebelum kata-kata diucapkan, sehingga berguna untuk alur kerja yang diatur oleh regulasi.

Thinker dan Talker

Thinker adalah model bahasa besar yang dilatih menggunakan sekitar 2 triliun token dari teks, ucapan, gambar, dan video. Model ini menggunakan perutean Mixture of Experts sehingga hanya sebagian kecil parameter yang diaktifkan untuk setiap token. Hal ini mengurangi biaya komputasi dan meningkatkan kapasitas pemrosesan. Talker adalah generator ucapan ringan yang menggunakan skema autoregresif multi-codebook untuk mempertahankan timbre dan prosodi, serta jaringan Code2Wav ringkas untuk menghasilkan audio dengan cepat.

Streaming dan caching real-time

Latensi penting dalam percakapan. Alibaba melaporkan streaming dengan token pertama yang dapat didengar dalam waktu sekitar seperempat detik untuk audio dan sekitar setengah detik untuk konteks video. Rangkaian audio ini mencakup encoder Audio Transformer baru yang dilatih menggunakan 20 juta jam audio berlabel, yang sebagian besar merupakan data ASR bahasa Mandarin dan Inggris, dengan cakupan global untuk bahasa lain. Encoder ini mendukung caching online untuk panggilan langsung dan pengodean offline untuk pemrosesan batch.

Bahasa dan konteks panjang

Pengembang dapat memasukkan prompt dan transkrip yang panjang. Thinking Mode mendukung konteks hingga 65,536 token, dengan rangkaian penalaran hingga 32,768 token. Non Thinking Mode mendukung hingga 49,152 token. Model ini menerima hingga 16,384 token sebagai masukan dan dapat menghasilkan hingga 16,384 token teks sebagai keluaran. Sistem ucapan saat ini mencakup 10 bahasa keluaran, jumlah yang praktis untuk uji coba global di layanan dukungan pelanggan dan layanan lapangan.

Model, mode, dan harga

Alibaba merilis tiga varian keluarga model 30B agar tim dapat menyesuaikannya dengan kebutuhan berbeda. Model Instruct menggabungkan rangkaian Thinker dan Talker lengkap untuk masukan audio, video, dan teks, lalu menghasilkan teks dan ucapan. Model Thinking berfokus pada penalaran kompleks dan rangkaian pemikiran yang panjang. Model ini menggunakan masukan multimodal yang sama, tetapi hanya menghasilkan teks, sehingga cocok untuk riset, analisis, dan pencatatan perusahaan yang harus mematuhi regulasi. Model Captioner adalah model khusus hasil fine-tuning untuk membuat takarir audio. Model ini ditujukan untuk menghasilkan deskripsi musik, ucapan, dan audio campuran secara akurat dengan tingkat halusinasi rendah.

Qwen3-Omni tersedia untuk diunduh melalui hub model, di GitHub bersama kode dan bobotnya, serta melalui Alibaba Cloud sebagai API, termasuk opsi Flash yang lebih cepat untuk layanan interaktif. Pengguna baru mendapat kuota gratis satu juta token yang berlaku selama 90 hari setelah aktivasi. Untuk penggunaan berbayar, tarif dihitung per seribu token. Masukan teks dikenai biaya 0.00025 dolar, masukan gambar atau video 0.00046 dolar, dan masukan audio 0.00221 dolar. Untuk keluaran, teks dikenai biaya 0.00096 dolar jika masukannya hanya teks, dan naik menjadi 0.00178 dolar jika masukan mencakup gambar atau audio. Jika pengembang meminta keluaran teks dan audio sekaligus, bagian audio dikenai biaya 0.00876 dolar per seribu token, sedangkan bagian teks gratis.

Keluaran audio hanya tersedia melalui API dalam Non Thinking Mode. Pilihan ini menyederhanakan penjadwalan untuk ucapan streaming dan menghindari konflik dengan penalaran terstruktur yang berlangsung lama. Tim yang membutuhkan rangkaian pemikiran yang kaya tetap dapat menggunakan model Thinking untuk menyusun rencana atau mencari informasi, lalu menyerahkan jawaban akhir kepada perender audio atau model Instruct untuk diucapkan.

Tolok ukur dan cara membacanya

Alibaba melaporkan hasil kuat dalam 36 pengujian publik, dengan skor tercanggih pada 22 pengujian dan posisi terdepan di antara model terbuka pada 32 pengujian. Angka-angka tersebut menunjukkan sistem seimbang yang mempertahankan kualitas teks dan visual sekaligus meningkatkan kemampuan audio. Hasil penting mencakup tugas penalaran, dengan skor Qwen3-Omni mencapai 65.0 pada AIME25 dan 76.0 pada ZebraLogic. WritingBench mencatat skor 82.6. Dalam transkripsi audio, model ini mencatat tingkat kesalahan kata 4.69 dan 5.89 pada Wenetspeech, serta 2.48 pada Librispeech other, angka yang sangat rendah untuk dataset tersebut. Skor penandaan dan klasifikasi musik, seperti 93.0 pada GTZAN dan 52.0 pada RUL-MuchoMusic, menunjukkan kemampuan yang baik dalam mengenali genre dan fitur audio.

Tolok ukur visi dan matematika juga menunjukkan hasil kuat. HallusionBench mencatat skor 59.7, MMMU_pro 57.0, dan MathVision_full 56.3. Dalam pemahaman video, Qwen3-Omni mencatat skor 75.2 pada MLVU. Berdasarkan angka yang dipublikasikan Alibaba, hasil tersebut menempatkannya di atas banyak model tertutup dalam pengujian tertentu, termasuk GPT 4o dan Gemini 2.0 Flash.

Tolok ukur tidak mencakup semua situasi yang dihadapi pengguna. Percakapan nyata bisa lebih bising, aksen beragam, pencahayaan berubah, dan tugas bisnis sering melibatkan rangkaian beberapa alat. Tinjauan independen awal menunjukkan bahwa model yang lebih kecil terkadang kesulitan di luar pengujian yang dikurasi, meski unggul di papan peringkat. Pengembang sebaiknya melakukan uji coba konsep dengan data mereka sendiri, terutama untuk kasus khusus seperti jargon bidang tertentu, diagram khusus, atau pembicara yang berbicara bersamaan.

Perbandingan dengan GPT 4o, Gemini, dan Gemma

Qwen3-Omni memasuki persaingan yang ketat, termasuk dengan GPT 4o dari OpenAI dan Gemini 2.5 dari Google. Sistem-sistem tersebut memiliki kemampuan kuat dan sudah terintegrasi dengan platform besar. Namun, keduanya bersumber tertutup. Pengguna membayar untuk setiap panggilan dan tidak dapat secara hukum memodifikasi model dasar atau mendistribusikannya kembali. Qwen3-Omni dirilis di bawah Apache 2.0, lisensi permisif yang mengizinkan penggunaan komersial, perubahan pada kode dan bobot, serta redistribusi. Lisensi ini juga mencakup pemberian hak paten. Perpaduan tersebut menurunkan risiko hukum bagi perusahaan yang perlu menyematkan AI langsung ke dalam produk atau infrastruktur privat.

Dari sisi fungsi, Qwen3-Omni menerima teks, gambar, audio, dan video, serta dapat menjawab dengan teks atau ucapan. GPT 4o menerima masukan teks, gambar, dan audio serta merespons dengan teks dan ucapan, tetapi konfigurasi intinya tidak menerima klip video sebagai masukan. Gemini 2.5 Pro dapat menganalisis masukan video dan menyediakan respons teks serta ucapan melalui layanan Google. Alibaba memosisikan Qwen3-Omni sebagai sistem multimodal native yang menjadikan ucapan dan visi sebagai kemampuan utama, bukan sekadar adaptor di atas inti model teks.

Google juga menawarkan Gemma 3n sebagai sumber terbuka di bawah Apache 2.0. Gemma 3n menerima video, audio, teks, dan gambar, tetapi hanya menghasilkan teks. Bagi tim yang menginginkan tumpukan teknologi terbuka sepenuhnya dengan keluaran ucapan langsung, Qwen3-Omni mungkin menjadi satu-satunya opsi saat ini yang memiliki lisensi permisif dan kemampuan menghasilkan ucapan langsung.

Arti penting Apache 2.0 bagi pengguna

Lisensi menentukan di mana model dapat dijalankan dan bagaimana model dapat dijadikan produk. Apache 2.0 mengizinkan fine-tuning dan redistribusi tertutup tanpa mewajibkan perilisan model turunannya. Lisensi ini mencakup pemberian hak paten dan lisensi kontribusi. Bagi industri yang diatur regulasi dan mencermati hak kekayaan intelektual, ketentuan tersebut mengurangi risiko integrasi. Perusahaan dapat menjalankan Qwen3-Omni di server sendiri, di layanan cloud pilihan, atau di perangkat edge, serta menjaga kerahasiaan model khusus mereka.

Kasus penggunaan untuk perusahaan dan pengembang

Qwen3-Omni menyasar beragam kebutuhan. Rangkaian teks dan ucapan multibahasa dapat mendukung transkripsi pusat panggilan dan penerjemahan langsung untuk 19 bahasa masukan dan 10 bahasa keluaran. Captioner audio dapat mendeskripsikan musik, suara sekitar, dan klip audio campuran untuk editor, pengarsip, dan alat bantu. Alur pemrosesan visi membaca tangkapan layar dan foto untuk OCR serta tata letak, sehingga membantu mengotomatiskan alur kerja administrasi dan proses orientasi pelanggan.

Pemahaman video menjadi kemampuan utama model ini. Agen dukungan dapat menganalisis klip pendek dari ponsel untuk mengidentifikasi lampu indikator kesalahan atau kabel yang salah sambung. Aplikasi pemeliharaan dapat memantau siaran langsung untuk memastikan katup telah terbuka. Karena Thinker dan Talker bekerja secara paralel, sistem dapat mulai berbicara sambil terus memproses bingkai yang masuk, sehingga percakapan berlangsung dengan tempo seperti manusia dalam situasi yang mengharuskan pengguna bebas menggunakan tangan.

Pemisahan tegas antara berpikir dan berbicara memberi pengembang kendali. Sistem pencarian informasi dapat mengambil dokumen perusahaan. Filter kebijakan dapat menyaring konten. Pemeriksaan keamanan dapat meninjau jejak penalaran sebelum Talker menghasilkan audio. Pola ini cocok untuk asisten konsumen yang harus menjaga konsistensi merek, alat peringkas perusahaan yang harus mencegah kebocoran data, dan perangkat lapangan yang membutuhkan panduan langkah demi langkah.

Penggunaan alat dan agen

Qwen3-Omni dapat dihubungkan dengan alat dan layanan eksternal untuk menangani tugas kompleks. Ini mencakup pencarian, kueri basis data, atau pemicu mesin alur kerja. Alibaba juga mengembangkan kerangka kerja agen di platform cloud-nya agar tim yang bekerja dengan kode sedikit maupun banyak dapat merangkai alat, menjadwalkan tugas, dan menerapkannya ke lingkungan produksi. Dengan jendela konteks di atas 49,000 token dalam Non Thinking Mode, model ini dapat menangani sesi multi-langkah yang panjang dan mengingat tindakan sebelumnya.

Adopsi, pasar, dan strategi

Minat pengembang meningkat pesat. Berbagai varian keluarga Qwen3 menempati sejumlah posisi teratas di papan tren hub model utama, dengan Qwen3-Omni-30B-A3B kerap berada di peringkat pertama. Eksposur ini mencerminkan gelombang lebih luas model terbuka dari China yang menarik perhatian di kalangan peneliti dan industri.

Sinyal pasar mengarah ke tren yang sama. Saham Alibaba menguat seiring meningkatnya kepercayaan terhadap ekspansi AI dan cloud perusahaan, didorong oleh peningkatan rekomendasi analis terbaru dan minat baru dari dana global. Perusahaan ini memperluas kapasitas pusat datanya untuk mendukung pelanggan di luar China, dengan fasilitas baru di Brasil, Prancis, dan Belanda serta kapasitas tambahan yang direncanakan di wilayah lain. Alibaba juga berinvestasi besar-besaran dalam infrastruktur AI, berkomitmen mengeluarkan puluhan miliar dolar selama tiga tahun ke depan dan mengindikasikan bahwa total belanja modal AI akan meningkat.

Kemitraan perangkat keras merupakan bagian dari rencana tersebut. Alibaba mengumumkan kolaborasi perangkat lunak dengan Nvidia untuk mengintegrasikan alat pengembangan AI di bidang seperti pelatihan, simulasi, dan validasi. Perusahaan ini juga memperkenalkan model Qwen3 Max yang lebih besar, dengan lebih dari satu triliun parameter, untuk pembuatan kode tingkat lanjut dan perilaku agen. Hal ini menunjukkan bahwa Qwen3-Omni merupakan bagian dari keluarga model yang lebih luas, dari asisten interaktif hingga model riset berskala besar.

Pernyataan dari Alibaba

CEO Alibaba Group Eddie Wu menyampaikan arah perusahaan dalam konferensi tahunan Alibaba di Hangzhou, dengan menyebut AI dan cloud sebagai dua mesin pertumbuhan untuk fase berikutnya. Ia juga memaparkan rencana untuk memperluas pusat data internasional dan memperdalam kemitraan terkait pelatihan serta penerapan model.

Wu menjelaskan alasan perusahaan meningkatkan investasi AI.

AI dan cloud adalah mesin pertumbuhan Alibaba bersama e-commerce. Kami akan meningkatkan belanja dan kapasitas untuk memenuhi permintaan global.

Lin Junyang, peneliti di tim Qwen, menjelaskan bagaimana proyek ini memanfaatkan riset sebelumnya di bidang ucapan dan visi untuk merakit sistem baru tersebut.

Kami menggabungkan proyek dasar audio dan gambar untuk membangun Qwen3 Omni.

Risiko, keterbatasan, dan hal yang perlu dicermati

Hasil tolok ukur yang kuat tetap menyisakan pertanyaan yang hanya dapat dijawab melalui penggunaan di lingkungan produksi. Audio di dunia nyata dapat disertai kebisingan latar yang kuat, suara yang saling tumpang tindih, atau aksen langka. Video kerap merekam pantulan cahaya, gerakan kabur, atau objek yang terhalang. Jika layanan Anda membutuhkan tingkat deteksi sangat tinggi untuk diagram khusus atau transkripsi berstandar kepatuhan di bidang tertentu, siapkan waktu untuk kurasi data dan fine-tuning sesuai bidang.

Rilis saat ini mendukung 10 bahasa keluaran ucapan, yang sudah mencakup banyak pasar, tetapi tim yang membutuhkan bahasa-bahasa yang kurang umum harus menggunakan keluaran teks atau mesin ucapan pihak ketiga. Pemisahan Thinker dan Talker juga menghadirkan sejumlah pilihan. Beberapa organisasi mungkin lebih memilih menyimpan penalaran panjang dalam bentuk teks, lalu menyintesis ucapan hanya untuk jawaban akhir. Organisasi lain dapat menerima keluaran yang lebih singkat demi respons lisan yang lebih cepat. Pertukaran tersebut perlu diuji berdasarkan sasaran pengalaman pengguna.

Lisensi sumber terbuka menjadi keunggulan bagi pengembang produk, tetapi juga berarti siapa pun dapat mengadaptasi model ini. Perusahaan sebaiknya menggunakan filter konten, deteksi penyalahgunaan, dan pemantauan penggunaan untuk mencegah penyalahgunaan. Di sisi lain, Apache 2.0 mencakup pemberian hak paten yang mengurangi risiko kekayaan intelektual bagi pengguna, faktor penting bagi tim kepatuhan perusahaan.

Keunggulan yang ditawarkan adalah asisten multimodal yang berpikir lintas teks, visi, dan suara dengan tempo yang nyaris menyerupai manusia. Jika Qwen3-Omni terus membuktikan kemampuannya di luar evaluasi yang dikurasi, model ini dapat menjadi pilihan utama bagi tim yang menginginkan kendali lokal, biaya yang dapat diprediksi, dan komunitas pengembang yang luas.

Sorotan

• Qwen3-Omni menerima masukan teks, gambar, audio, dan video, serta menghasilkan teks dan ucapan.
• Model ini bersumber terbuka di bawah Apache 2.0 dengan pemberian hak paten untuk penggunaan komersial.
• Thinker menangani penalaran, Talker menghasilkan ucapan, dan keduanya menggunakan Mixture of Experts untuk meningkatkan kecepatan.
• Latensi paket pertama yang dilaporkan adalah 234 milidetik untuk audio dan 547 milidetik untuk video.
• Mendukung 119 bahasa teks, 19 bahasa masukan ucapan, dan 10 bahasa keluaran ucapan.
• Tersedia tiga varian: Instruct, Thinking, dan Captioner.
• Harga API mulai dari 0.00025 dolar per seribu token teks, dengan uji coba gratis 1 juta token.
• Hasil tolok ukur menunjukkan keunggulan dalam banyak pengujian ucapan, video, dan penalaran.
• Peringkat Hugging Face dan minat investor menandakan adopsi yang cepat.
• Alibaba memperluas pusat data dan memperdalam kolaborasi dengan Nvidia, sembari mengembangkan keluarga Qwen3.