Alibaba meluncurkan Qwen3 Omni, model AI multimodal sumber terbuka

Mengapa peluncuran ini penting sekarang

Alibaba telah merilis Qwen3 Omni, model kecerdasan buatan multimodal yang memproses teks, gambar, audio, dan video dalam satu sistem. Peluncurannya hadir ketika persaingan AI global kian intensif. Model ini dapat diunduh dan digunakan di bawah lisensi Apache 2.0, yang memberi perusahaan keleluasaan untuk menjalankan, memodifikasi, dan menyertakan teknologi ini dalam produk komersial. Cakupan berbagai modalitas dan lisensi permisif tersebut memberi tekanan langsung pada sistem tertutup dari para pemimpin AS.

Waktunya patut dicermati. Perusahaan-perusahaan Barat terus menggelontorkan dana ke AI proprieter dan infrastrukturnya, sementara kelompok riset China berupaya menarik pengembang lewat model yang dapat diakses secara terbuka. Qwen3 Omni dengan cepat menanjak di papan peringkat komunitas Hugging Face, menandakan bahwa para pengembang menggunakannya dalam skala luas. Bagi Alibaba, peluncuran ini menegaskan bahwa penyedia cloud terbesar China itu berniat bersaing memperebutkan beban kerja AI global, bukan hanya pengaruh di dunia riset.

Janji model ini sederhana: satu model fondasi yang dapat menerima bahasa, gambar, audio, dan video, lalu merespons dalam bentuk teks atau ucapan alami dengan kecepatan streaming. Jika kinerja yang dilaporkan Alibaba terbukti dalam penggunaan umum, perusahaan dapat menerapkan asisten, layanan transkripsi, dan alat analitik tanpa membayar biaya penggunaan kepada platform tertutup, serta tanpa merangkai model terpisah untuk setiap jenis data.

Apa itu Qwen3 Omni dan fungsinya

Qwen3 Omni adalah model fondasi yang dirancang untuk interaksi multimodal secara native. Model ini menerima empat jenis masukan, yaitu teks, gambar, audio, dan video, serta menghasilkan dua jenis keluaran, yaitu teks dan ucapan. Respons dapat dialirkan hampir secara waktu nyata, sehingga pengguna dapat berbicara dengan sistem atau mengarahkan kamera ke suatu pemandangan dan mulai mendengar jawaban saat sistem memproses bingkai video.

Alibaba merilis tiga versi agar tim dapat menyesuaikan kemampuan dengan kebutuhan penggunaan. Setiap versi didasarkan pada backbone berparameter 30 miliar yang secara selektif mengaktifkan pakar saat inferensi demi efisiensi. Susunannya sebagai berikut:

• Instruct, model interaktif lengkap yang menangani masukan audio, video, dan teks, serta menghasilkan teks dan ucapan.
• Thinking, model yang berfokus pada penalaran untuk respons dengan rangkaian pemikiran panjang. Model ini menerima masukan yang sama, tetapi hanya menghasilkan teks.
• Captioner, varian yang disetel lebih lanjut untuk membuat takarir audio terperinci dengan tujuan meminimalkan halusinasi saat menjelaskan sumber dan peristiwa suara.

Pengembang dapat mengunduh bobot model dari GitHub dan Hugging Face, atau menggunakan endpoint terkelola melalui API Alibaba, yang juga menawarkan varian Flash dengan respons lebih cepat untuk kebutuhan yang sensitif terhadap latensi.

Di balik desain Thinker dan Talker

Sistem ini menggunakan arsitektur dua komponen yang oleh Alibaba disebut Thinker dan Talker. Thinker bertugas melakukan penalaran lintas modalitas. Komponen ini memadukan petunjuk dari teks, encoder visual, dan encoder audio, lalu menyusun rencana dan menghasilkan token teks yang mewakili jawaban atau tindakan yang dimaksud. Talker mengubah rencana itu menjadi ucapan alami, sekaligus menyelaraskan waktu dan intonasi dengan konteks visual dan audio.

Kedua komponen menggunakan pendekatan Mixture of Experts. Hanya sebagian parameter yang aktif pada setiap langkah, sehingga beban kerja tersebar di antara para pakar dan throughput meningkat saat banyak permintaan masuk bersamaan. Desain ini membantu model mempertahankan latensi rendah saat melayani pengguna secara serentak.

Talker tidak bergantung pada representasi teks internal Thinker. Komponen ini dapat langsung menggunakan fitur audio dan visual sebagai acuan. Hal itu membuat keluaran ucapan terdengar lebih alami dalam penerjemahan atau bantuan langsung, karena sistem dapat mempertahankan prosodi dan timbre yang sesuai dengan situasi. Pemisahan ini juga bermanfaat secara operasional. Modul eksternal, seperti sistem pencarian informasi atau filter keselamatan, dapat memeriksa dan menyesuaikan teks yang diusulkan Thinker sebelum Talker mengubahnya menjadi ucapan.

Agar ucapan tetap cepat dan jelas, Talker memprediksi rangkaian multi-codebook secara autoregresif dan menggunakan jaringan Code2Wav yang ringan untuk menyintesis bingkai audio secara langsung. Pendekatan ini mengurangi jeda tanpa mengorbankan detail kualitas suara.

Kecepatan, skala, dan bahasa

Latensi penting dalam interaksi suara dan video. Qwen3 Omni melaporkan latensi paket pertama sekitar 234 milidetik untuk audio dan sekitar 547 milidetik untuk video. Responsivitas ujung ke ujung tetap berada dalam satu faktor waktu nyata, bahkan saat melayani beberapa permintaan, sehingga percakapan tetap lancar.

Cakupan bahasanya luas. Model ini mendukung 119 bahasa dalam bentuk teks. Model ini memahami masukan lisan dalam 19 bahasa dan dapat berbicara dalam 10 bahasa. Cakupannya meliputi bahasa-bahasa utama dunia dan dialek seperti Kanton. Ini memberi tim produk cara untuk membangun asisten bagi pengguna global tanpa perlu mengganti model berdasarkan wilayah.

Jendela konteksnya dirancang untuk sesi panjang. Thinking Mode menawarkan 65.536 token, sedangkan Non Thinking Mode menawarkan 49.152 token. Batas maksimum masukan dan keluaran masing-masing 16.384 token, sementara rangkaian penalaran terpanjang yang didukung mencapai 32.768 token. Model ini dapat menganalisis dan merangkum klip audio panjang hingga sekitar 30 menit.

Cara Alibaba melatih model ini

Pemahaman audio ditopang oleh Audio Transformer khusus bernama AuT. Alibaba melatih AuT dari awal menggunakan sekitar 20 juta jam audio berlabel. Sebagian besar data tersebut berfokus pada pengenalan ucapan otomatis dalam bahasa Mandarin dan Inggris, dengan porsi lebih kecil dari bahasa lain dan tugas-tugas untuk memperluas pemahaman audio. AuT memiliki sekitar 600 juta parameter dan disetel untuk cache streaming maupun pekerjaan luring.

Pra-pelatihan berlangsung dalam tiga tahap. Pada tahap penyelarasan encoder, tim melatih encoder visi dan audio sambil membekukan backbone bahasa, yang membantu mempertahankan kualitas persepsi. Berikutnya, pelatihan umum dilakukan menggunakan kumpulan data sekitar dua triliun token yang mencakup teks, audio, dan gambar, dengan porsi lebih kecil berupa video dan data audio-video. Pada tahap terakhir, konteks panjang, panjang sekuens diperluas dari 8.192 menjadi 32.768 token dan data audio serta video berdurasi lebih panjang ditambahkan agar model mampu mengikuti sekuens yang panjang.

Pascapelatihan menambahkan kemampuan mengikuti instruksi dan penyelarasan keselamatan. Untuk Thinker, tim menerapkan penyetelan halus terawasi, distilasi dari model kuat ke model lemah, serta optimasi GSPO dengan umpan balik gabungan dari aturan dan LLM sebagai penilai. Talker melalui empat tahap yang memadukan ratusan juta sampel ucapan multimodal dengan pra-pelatihan berkelanjutan menggunakan data terkurasi. Tujuannya mengurangi halusinasi sekaligus meningkatkan kejernihan dan ekspresivitas ucapan.

Tolok ukur, keunggulan, dan keterbatasan

Dalam 36 tolok ukur publik yang mencakup teks, ucapan, visi, dan video, Alibaba melaporkan bahwa Qwen3 Omni menempati posisi pertama pada 22 tolok ukur dan memimpin di antara model terbuka pada 32 tolok ukur. Hasil tersebut menunjukkan kinerja kuat pada tugas yang banyak melibatkan audio serta hasil kompetitif dalam teks dan visi.

Penalaran dan penulisan: pada AIME25, model ini meraih skor 65,0, jauh di atas skor GPT 4o era 2024 sebesar 26,7. ZebraLogic mencatat skor 76,0, melampaui Gemini 2.5 Flash yang meraih 57,9. Pada WritingBench, model ini memperoleh skor 82,6, lebih tinggi daripada GPT 4o dengan 75,5.

Ucapan dan audio: pada rangkaian Wenetspeech, tingkat kesalahan kata yang dilaporkan adalah 4,69 dan 5,89, jauh di bawah GPT 4o yang mencatat 15,30 dan 32,27. Pada LibriSpeech other, tingkat kesalahan turun menjadi 2,48. Model ini juga kuat dalam klasifikasi musik, dengan skor GTZAN 93,0 dan RUL MuchoMusic 52,0, keduanya di atas GPT 4o.

Visi dan video: HallusionBench mencatat 59,7, MMMU pro 57,0, dan MathVision full 56,3, semuanya lebih tinggi daripada GPT 4o dalam rangkaian hasil yang sama. Pada pengujian pemahaman video MLVU, Qwen3 Omni meraih 75,2, melampaui Gemini 2.0 Flash dengan 71,0 dan GPT 4o dengan 64,6.

Angka-angka ini kuat, tetapi tim perlu membacanya sesuai konteks. Alibaba menyetel sistem agar kualitas teks dan visinya tetap terjaga sekaligus unggul dalam ucapan dan interaksi multimodal. Pengamat awal mencatat bahwa model teks saja dari keluarga yang sama masih dapat memimpin dalam beberapa tugas bahasa murni. Ini merupakan kompromi yang wajar saat beralih dari pelatihan satu modalitas ke sistem multimodal yang luas. Ujian sesungguhnya adalah kinerja sehari-hari dalam alur kerja produksi.

Lisensi terbuka, akses, dan harga

Qwen3 Omni dirilis di bawah lisensi Apache 2.0. Lisensi ini mengizinkan penggunaan komersial, modifikasi, dan redistribusi, serta mencakup pemberian hak paten. Perusahaan dapat menyematkan model ini dalam produk, menerapkannya di perangkat keras sendiri atau di cloud tepercaya, dan merilis produk tertutup tanpa membuka perubahan proprieter. Lisensi ini menghapus hambatan hukum yang paling umum sehingga tim dapat menggunakan model canggih di lingkungan yang diatur ketat.

Keluarga model ini dapat diunduh dari GitHub dan Hugging Face. Tim yang memilih layanan terkelola dapat menggunakan API Alibaba, yang juga menyediakan opsi Flash untuk respons lebih cepat. Alibaba menawarkan kuota gratis satu juta token lintas modalitas selama 90 hari setelah aktivasi agar tim dapat mengevaluasi kemampuannya sebelum membayar.

Cara kerja harga token

Tagihan dihitung per seribu token. Token adalah unit kecil teks atau representasi media lain yang dipecah menjadi beberapa bagian, dan menjadi tolok ukur umum untuk biaya komputasi lintas modalitas. Alibaba menetapkan harga per token yang sama untuk mode Thinking dan Non Thinking, dengan satu pengecualian: keluaran audio hanya tersedia dalam Non Thinking Mode.

Biaya masukan: masukan teks dikenai biaya 0,00025 dolar per seribu token, atau sekitar 25 sen per satu juta token. Masukan audio dikenai biaya 0,00221 dolar per seribu token, atau sekitar 2,21 dolar per satu juta token. Masukan gambar dan video dikenai biaya 0,00046 dolar per seribu token, atau sekitar 46 sen per satu juta token.

Biaya keluaran: keluaran teks dikenai biaya 0,00096 dolar per seribu token jika perintah hanya berupa teks. Jika masukan mencakup gambar atau audio, keluaran teks dikenai biaya 0,00178 dolar per seribu token. Jika pengguna meminta keluaran teks dan audio sekaligus, bagian audio dikenai biaya 0,00876 dolar per seribu token. Dalam hal ini, bagian teks tidak dikenai biaya.

Kasus penggunaan yang siap diterapkan saat ini

Aplikasi yang berpusat pada audio dan video berpotensi mendapat manfaat. Transkripsi dan penerjemahan multibahasa untuk dukungan pelanggan dan lokalisasi media dapat dijalankan dengan satu model yang mendengarkan, memahami konteks, dan merespons dalam bentuk ucapan. Varian Captioner berfokus pada deskripsi audio, yang berguna untuk pemberian tag pada media, pemantauan siaran, dan pencarian informasi musik.

Tugas visual seperti pengenalan karakter optik, penentuan lokasi objek, serta tanya jawab tentang gambar atau video juga sesuai. Agen dukungan dapat melihat siaran langsung kamera ponsel yang diarahkan ke laptop, menjelaskan kabel mana yang perlu diperiksa, lalu menguraikan langkah-langkahnya dengan kecepatan bicara alami. Alibaba telah mendemonstrasikan penerjemahan menu restoran secara waktu nyata melalui perangkat yang dapat dikenakan. Skenario-skenario ini menunjukkan pentingnya latensi streaming dan kualitas ucapan.

Qwen3 Omni juga mendukung dialog audiovisual. Model ini dapat melakukan percakapan yang merujuk pada hal-hal yang didengar dan dilihatnya, melacak konteks sepanjang sesi panjang, serta menampilkan pengetahuan eksternal yang relevan saat terhubung dengan alat. Pengembang dapat mengatur nada dan perilaku melalui prompt sistem, membangun asisten khusus bidang tertentu, serta mengarahkan keluaran Thinker melalui filter keselamatan khusus sebelum ucapan dihasilkan.

Perbandingan dengan GPT 4o, Gemini 2.5, dan Gemma 3n

Qwen3 Omni bergabung dengan jajaran model omni yang dirancang untuk memproses banyak jenis data dalam satu mesin. GPT 4o dari OpenAI mendukung masukan teks, gambar, dan audio, serta disediakan sebagai layanan tertutup. Gemini 2.5 Pro dari Google juga menangani analisis video dan bersifat tertutup. Gemma 3n dari Google menggunakan lisensi terbuka dan menerima teks, gambar, audio, serta video sebagai masukan, tetapi hanya menghasilkan teks. Model Alibaba menerima empat jenis masukan yang sama dan juga menghasilkan ucapan, fitur penting untuk asisten dan penerjemahan langsung.

Keterbukaan menjadi perbedaan praktis. Bobot Qwen3 Omni tersedia di bawah lisensi Apache 2.0, sehingga perusahaan dapat menjalankan model secara lokal, menyesuaikannya dengan peraturan industri, dan mengendalikan aliran data. Model tertutup masih mendominasi sejumlah tugas kelas atas, tetapi ketentuan lisensi dan lokasi penyimpanan data dapat membatasi penerapannya di sektor sensitif. Banyak organisasi akan memilih kombinasi model terbuka untuk menekan biaya dan menjaga kendali, serta layanan berbayar untuk kebutuhan yang sulit dipenuhi oleh model lain.

Perbedaan lainnya adalah kesiapan untuk produksi. Alibaba telah membangun keluarga Qwen yang luas dengan ratusan varian dan melaporkan adopsi yang besar di kalangan pengembang. Jika interaksi ucapan langsung dan video Qwen3 Omni dapat menyamai hasil tolok ukurnya dalam penggunaan sehari-hari, model ini menjadi alternatif yang kredibel bagi tim yang membutuhkan asisten multibahasa berlatensi rendah dan dapat dihosting sendiri.

Adopsi dan sinyal pasar

Keterlibatan pengembang terlihat jelas. Qwen3 Omni telah mencapai puncak daftar tren Hugging Face, sementara sejumlah model Alibaba lainnya kini menempati beberapa posisi teratas. Momentum ini mencerminkan pergeseran yang lebih luas, ketika model terbuka dari laboratorium China semakin diminati komunitas global.

Alibaba Cloud menyatakan bahwa keluarga Qwen telah diunduh lebih dari 400 juta kali di seluruh dunia dan perusahaan telah merilis lebih dari 300 model sejak lini ini dimulai. Respons investor positif. Saham Alibaba di Hong Kong naik sedikit di atas 4 persen pada hari Qwen3 Omni menempati posisi teratas di papan peringkat komunitas, menandakan bahwa pasar mengamati kemajuan AI perusahaan tersebut.

Makna “terbuka” juga menjadi bahan perdebatan. Model-model ini dirilis di bawah lisensi Apache 2.0 dan bobotnya tersedia, tetapi resep lengkap untuk mereproduksi pelatihan dari data mentah tidak dipublikasikan. Kalangan puris akan menyebutnya sebagai bobot terbuka. Bagi sebagian besar perusahaan, ketentuan lisensilah yang terpenting karena memungkinkan produk dirilis tanpa biaya per pengguna atau per kursi.

Hal yang perlu diperhatikan terkait keselamatan dan tata kelola

Perusahaan akan mempertanyakan apakah peningkatan tolok ukur yang dilaporkan menghasilkan perilaku yang konsisten dan aman saat sistem dibebani. Sistem ucapan memiliki risiko tersendiri, mulai dari perintah yang salah didengar hingga sintesis suara yang meyakinkan. Tim perlu menetapkan pengamanan untuk verifikasi identitas, penyaringan konten, dan penyimpanan data. Pemisahan Thinker dan Talker mendukung pengendalian tersebut karena lapisan keselamatan dapat menyela teks sebelum ucapan dihasilkan.

Kesiapan operasional juga akan menjadi perhatian. Organisasi yang menerapkan model terbuka dalam skala besar kerap berinvestasi pada MLOps, pipeline penyetelan halus, dan evaluasi. Qwen3 Omni mengurangi kebutuhan untuk mengelola banyak model sekaligus karena mampu menangani teks, audio, gambar, dan video di satu tempat. Hal ini dapat menyederhanakan infrastruktur dan mempercepat siklus produk, terutama untuk penerapan di lokasi atau cloud berdaulat yang harus mematuhi aturan regional.

Alibaba telah menguraikan langkah selanjutnya, termasuk peningkatan pengenalan banyak pembicara, pengenalan teks dalam video, kemampuan belajar yang lebih baik dari gabungan audio dan video, serta agen otonom yang lebih mumpuni. Sasaran-sasaran ini sejalan dengan bidang yang akan lebih dahulu didorong pelanggan saat mengalihkan proyek percontohan ke produksi.

Poin-Poin Utama

• Qwen3 Omni adalah satu model yang menerima teks, gambar, audio, dan video, serta menghasilkan teks dan ucapan dengan kecepatan streaming.
• Alibaba merilis bobot model di bawah lisensi Apache 2.0, yang mengizinkan penggunaan komersial, modifikasi, dan redistribusi serta mencakup pemberian hak paten.
• Tiga varian dirilis saat ini: Instruct untuk interaksi penuh, Thinking untuk penalaran panjang dengan keluaran teks, dan Captioner untuk deskripsi audio dengan halusinasi rendah.
• Thinker dan Talker memisahkan penalaran dari pembuatan ucapan serta menggunakan Mixture of Experts untuk menjaga latensi tetap rendah saat menangani beban serentak.
• Latensi paket pertama yang dilaporkan sekitar 234 milidetik untuk audio dan 547 milidetik untuk video, dengan faktor waktu nyata di bawah satu.
• Model ini mendukung 119 bahasa dalam teks, memahami ucapan dalam 19 bahasa, dan dapat berbicara dalam 10 bahasa, termasuk dukungan dialek seperti Kanton.
• AuT, encoder audio dengan 600 juta parameter yang dilatih menggunakan sekitar 20 juta jam audio, menjadi landasan pemahaman ucapan.
• Tolok ukur menunjukkan keunggulan pada 22 dari 36 pengujian dan di antara model terbuka pada 32 pengujian, dengan hasil kuat dalam ucapan, musik, visi, dan video.
• Harga API dimulai dari 0,00025 dolar per seribu token masukan teks dan 0,00096 dolar per seribu token keluaran teks, dengan uji coba gratis satu juta token selama 90 hari.
• Adopsi di Hugging Face berlangsung pesat, dan Alibaba melaporkan ratusan juta unduhan Qwen saat perusahaan mengevaluasi penggunaan model terbuka dalam produksi.