Baidu memperkenalkan AI multimodal sumber terbuka yang diklaim mengungguli GPT-5 dan Gemini dalam tolok ukur visi

Penantang sumber terbuka baru di bidang AI multimodal

Baidu telah membuka sumber model multimodal baru, ERNIE 4.5 VL 28B A3B Thinking, sistem berparameter 28 miliar yang memproses gambar, video, dokumen, dan teks. Perusahaan menyatakan model ini mengungguli model tertutup terkemuka pada tolok ukur yang berfokus pada visi, sekaligus menggunakan lebih sedikit sumber daya. Model ini dilisensikan di bawah Apache 2.0 untuk penggunaan komersial tanpa batasan. Jika terbukti dalam pengujian independen, klaim tersebut menempatkan Baidu sebagai pemasok utama model penalaran visual kelas enterprise yang dapat dijalankan pada perangkat keras yang mudah diakses.

ERNIE 4.5 VL 28B A3B Thinking mengaktifkan sekitar 3 miliar parameter per token, sebagian kecil dari total parameternya, dengan menggunakan desain Mixture of Experts yang mengarahkan setiap input ke jaringan pakar yang paling relevan. Aktivasi selektif ini mengurangi kebutuhan komputasi dan memori, sekaligus mempertahankan kapasitas model yang jauh lebih besar. Baidu menyatakan model ini dapat menjalankan inferensi pada satu GPU 80 GB dan tetap memberikan hasil kuat dalam memahami dokumen, menafsirkan diagram, serta melakukan penalaran visual yang kompleks.

Fitur utama yang disorot Baidu disebut Thinking with Images. Model ini dapat memperbesar dan memperkecil gambar saat melakukan penalaran, memeriksa bagian-bagian kecil untuk mencari petunjuk, serta menggabungkan temuan lokal dengan gambaran keseluruhan. Perilaku ini menyerupai cara manusia memecahkan masalah visual dan meningkatkan kinerja pada tugas seperti membaca diagram teknis yang padat, menemukan cacat pada lini produksi, atau mengidentifikasi rujukan seperti konektor biru di bawah baut kedua.

Baidu juga menyoroti kemampuan grounding visual yang lebih kuat, kepatuhan instruksi yang lebih baik untuk tugas gambar, penggunaan alat termasuk pencarian gambar, serta pemahaman video yang andal dengan kesadaran temporal. Model ini dilengkapi perangkat integrasi yang kompatibel dengan Transformers, vLLM, dan FastDeploy, serta perangkat untuk pelatihan dan fine-tuning bernama ERNIEKit. Di tengah persaingan ketat, saat sebagian besar sistem visi-bahasa terkemuka masih tertutup, rilis ini memberi pengembang dan perusahaan opsi terbuka baru dengan lisensi yang ramah bisnis.

Kemampuan yang diklaim dimiliki model ini

Baidu mengelompokkan kemampuan model ini ke dalam enam bidang: penalaran visual, pemecahan masalah STEM, grounding visual, integrasi alat, pemahaman video, dan analisis gambar dinamis. Dalam praktiknya, sistem ini dapat membaca dan merangkum faktur atau laporan keuangan, menganalisis diagram dan tabel, menalar diagram sirkuit dan soal geometri, menunjuk objek atau area tertentu pada gambar, menggunakan alat eksternal untuk mengambil gambar rujukan, serta melacak peristiwa dalam segmen video.

Pada papan peringkat yang ditampilkan dalam dokumentasi Baidu, model ini diklaim menyamai atau melampaui OpenAI GPT-5 High dan Google Gemini 2.5 Pro pada serangkaian pengujian yang berfokus pada visi. Pengujian tersebut mencakup tanya jawab tentang diagram, pemahaman dokumen, dan tolok ukur penalaran visual multi-langkah. Perusahaan juga menyoroti keunggulan kecepatan, dengan mengklaim inferensi dua hingga tiga kali lebih cepat dibandingkan model sebanding dengan akurasi serupa.

Laboratorium independen belum memverifikasi grafik tersebut. Rangkaian tolok ukur sering kali lebih mengutamakan pengenalan pola, format prompt, atau trik khusus daripada keandalan dalam penerapan nyata yang kompleks. Perusahaan yang mengevaluasi ERNIE 4.5 VL 28B A3B Thinking sebaiknya menjalankan uji coba terarah menggunakan dokumen, kondisi pencahayaan, sudut kamera, dan kebijakan keamanan mereka sendiri sebelum berkomitmen untuk menerapkannya dalam produksi.

Meski perlu kehati-hatian, cakupan tugas yang dapat ditangani model ini luas. Kombinasi penalaran, grounding, dan penggunaan alat membuatnya cocok untuk alur kerja bergaya agen, misalnya membaca klaim yang masuk dalam antrean asuransi, menandai anomali dalam operasional gudang, atau membantu teknisi memecahkan masalah peralatan menggunakan foto beranotasi dan video pendek.

Menjalankan model 28B pada satu GPU 80 GB

Kuncinya adalah Mixture of Experts, sebuah desain yang menempatkan banyak subnetworks spesialis di balik sebuah router. Untuk setiap token atau potongan gambar, router memilih sejumlah kecil pakar untuk diaktifkan. Hanya pakar-pakar tersebut yang melakukan komputasi, sehingga sistem berperilaku seperti model kecil pada setiap langkah. Namun, keseluruhan kumpulan pakar menyediakan kapasitas lebih besar jika dilihat dari banyaknya langkah dan tugas. Struktur ini meningkatkan throughput karena sebagian besar parameter tidak aktif dalam operasi tertentu.

Aktivasi selektif mengurangi kebutuhan memori dan biaya komputasi. Model padat dengan 28 miliar parameter akan membutuhkan perangkat keras yang jauh lebih besar untuk berjalan dengan kecepatan memadai. Dengan mengaktifkan sekitar 3 miliar parameter per token, Baidu mengklaim model visi-bahasa ini dapat menjalankan inferensi pada satu GPU, sehingga lebih banyak laboratorium dapat mengujinya. Namun, pendekatan ini menambah kompleksitas. Insinyur membutuhkan router yang cepat dan seimbang, penyeimbangan beban yang cermat, serta teknik pelatihan yang stabil agar sebagian kecil pakar tidak menangani seluruh pekerjaan.

Penalaran dengan gambar dan grounding presisi

Model visi-bahasa tradisional menerima gambar beresolusi tetap lalu menghasilkan jawaban teks. Thinking with Images menambahkan siklus perencanaan. Model memecah pertanyaan menjadi beberapa langkah, menentukan bagian mana yang perlu dilihat berikutnya, memotong area pada resolusi tinggi, membaca teks atau mengukur geometri di dalam area tersebut, lalu memperbarui rencananya. Siklus ini berulang sampai cukup banyak bukti terkumpul untuk menjawab. Kemampuan ini juga bekerja sebaliknya ketika tugas meminta model menunjuk sesuatu, dengan memetakan kata ke lokasi piksel dan menggambar kotak atau mask.

Grounding yang lebih baik penting saat gambar penuh objek atau bersifat teknis. Dalam manufaktur, dua komponen bisa tampak hampir identik sampai diperbesar. Pada gambar teknik, perubahan notasi hanya beberapa piksel dapat mengubah makna simbol. Dalam pencitraan medis, artefak kecil dapat memengaruhi diagnosis. Sistem yang dapat beralih antara konteks keseluruhan adegan dan detail halus, sambil menjelaskan langkah-langkah yang diambil, memberi operator jejak audit yang lebih jelas dan cara untuk memperbaiki kesalahan.

Tolok ukur dan beban kerja nyata

Grafik dari vendor sering menggabungkan skor dari banyak evaluasi. Beberapa tolok ukur menggunakan gambar bersih dengan pemotongan yang sempurna. Yang lain memakai pertanyaan yang sudah tercakup dalam data pelatihan. Penerapan di dunia nyata menghadirkan pantulan cahaya, gambar buram akibat gerakan, jenis huruf yang tidak biasa, objek yang tertutup, dan label multibahasa. Kinerja dapat berubah saat input berada di luar distribusi pelatihan. Karena itu, klaim utama bahwa model mengungguli GPT-5 atau Gemini dalam pengujian tertentu sebaiknya dianggap sebagai titik awal, bukan kesimpulan.

Pendekatan yang lebih andal adalah evaluasi khusus untuk setiap tugas. Untuk dokumen, tim dapat mengumpulkan beberapa ratus berkas yang mewakili kebutuhan mereka dan mengukur akurasi ekstraksi bidang secara tepat menggunakan kunci jawaban yang diaudit manusia. Untuk tugas visi, mereka dapat menyimulasikan kondisi produksi, lalu melacak presisi dan recall pada kotak atau mask. Untuk diagram, mereka dapat membuat plot sintetis dengan kasus khusus seperti skala logaritmik atau seri bertumpuk. Hasilnya memberikan gambaran yang lebih jelas tentang perilaku dan mode kegagalan model.

Resep pelatihan dan perangkat pengembang

Model ERNIE 4.5 menggunakan pendekatan pelatihan yang menggabungkan pembelajaran terawasi klasik dengan pembelajaran penguatan pada tugas multimodal. Dokumentasinya menyebut strategi bernama GSPO dan IcePop untuk menstabilkan router serta menyempurnakan pembentukan reward saat melatih MoE, disertai pengambilan sampel tingkat kesulitan dinamis agar model mempelajari contoh yang lebih sulit seiring peningkatan kemampuannya. Hasilnya adalah sistem yang dapat merencanakan penalaran multi-langkah berdasarkan gambar, diagram, dan video, alih-alih menebak dalam satu kali proses.

Keluarga model ini mencakup varian khusus teks dan visi-bahasa, dari model padat berukuran sangat kecil hingga sistem MoE masif dengan ratusan miliar parameter total. Baidu menyatakan arsitektur ini memungkinkan berbagi parameter lintas modalitas, sehingga komponen teks dan visi dapat saling mendukung tanpa menurunkan kualitas bahasa. Pelatihan dan inferensi berjalan di platform perusahaan, PaddlePaddle, yang menurut tim memiliki tingkat pemanfaatan perangkat keras tinggi pada skala besar.

Baidu menyediakan serangkaian alat untuk pengembang. ERNIEKit mendukung fine-tuning, optimasi preferensi, dan kuantisasi untuk penerapan yang hemat sumber daya. Model visi-bahasa dapat disajikan melalui stack umum seperti Transformers dan vLLM, sementara inferensi produksi dapat ditangani dengan FastDeploy. Lisensi Apache 2.0 menghapus banyak batasan penggunaan komersial. Halaman resmi model tersedia di Hugging Face, sedangkan kode dan resepnya tersedia di repositori GitHub Baidu.

Artinya bagi perusahaan

Lisensi terbuka dan kemampuan inferensi pada satu GPU membuat model ini menarik bagi tim yang menginginkan AI visual privat di lokasi sendiri tanpa mengirim data ke penyedia cloud. Sektor yang banyak menangani dokumen dapat mencoba pemrosesan cerdas untuk kontrak, faktur, dan klaim. Produsen dapat membangun stasiun inspeksi kualitas yang menggabungkan panduan visi dan bahasa bagi pekerja lini produksi. Tim ritel dan logistik dapat menggunakan grounding untuk menemukan barang dan memverifikasi label di gudang. Kelompok layanan pelanggan dapat memperkaya jawaban dalam percakapan dengan membaca diagram atau tangkapan layar yang disertakan.

Biaya menjadi pertimbangan. Banyak organisasi tidak dapat menyediakan klaster GPU kelas H100 untuk satu aplikasi saja. Sistem yang berjalan pada satu kartu 80 GB menurunkan hambatan untuk uji coba dan penerapan awal. Kombinasi grounding, penggunaan alat, dan pemahaman video juga cocok untuk alur kerja bergaya agen, ketika model membaca, mencari, mengeklik, dan bernalar melalui beberapa langkah untuk menyelesaikan tugas. Hal ini sejalan dengan peralihan menuju agen yang dapat menggunakan komputer dan mengoperasikan antarmuka standar, alih-alih API khusus.

Persaingan yang lebih luas: model terbuka vs layanan tertutup

Rilis ini hadir pada tahun yang sibuk bagi model terbuka. DeepSeek memperkenalkan model bahasa MoE berukuran sangat besar dengan ratusan miliar parameter total dan hanya beberapa puluh miliar parameter aktif per token, serta melaporkan skor kuat pada tolok ukur umum dengan biaya pelatihan yang jauh lebih rendah dibandingkan sistem tertutup. Alibaba Marco o1 mendorong kemampuan penalaran dengan teknik seperti fine-tuning chain of thought dan perencanaan terpandu pencarian untuk menangani tugas terbuka yang tidak memiliki reward numerik yang jelas.

Laboratorium di China, termasuk Baidu, Alibaba, dan lainnya, semakin sering merilis model mumpuni dengan lisensi permisif. Akses terbuka memberi pengembang regional cara untuk membangun produk dengan ketergantungan lebih sedikit pada layanan proprieter. Hal ini juga menekan penyedia global agar membenarkan harga premium dengan menawarkan keunggulan nyata dalam hal keandalan, alat, atau integrasi. Kesenjangan kinerja antara model terbuka dan tertutup telah menyempit di banyak bidang, terutama pada tugas khusus seperti analisis diagram dan ekstraksi dokumen.

Keterbatasan dan pertanyaan yang belum terjawab

Ada sejumlah kompromi. Model visi-bahasa ini masih membutuhkan GPU 80 GB untuk hasil terbaik, sehingga tidak dapat dijalankan di banyak perangkat konsumen. Jendela konteksnya tercatat sebesar 128K token, yang membantu untuk PDF panjang tetapi tetap terbatas saat banyak gambar, teks OCR, dan instruksi digabungkan. Perutean MoE dapat mempersulit penerapan dalam skala besar karena insinyur harus memantau keseimbangan pakar dan mencegah lonjakan latensi akibat penumpukan permintaan pada rute tertentu.

Keamanan tetap menjadi isu utama. Sistem gambar dapat dikelabui oleh pola adversarial atau korelasi semu. Model yang secara aktif memotong dan memperbesar gambar harus menghindari bias konfirmasi, yaitu ketika rencana terus mengarahkannya untuk memeriksa area yang salah. Perusahaan akan mengharapkan catatan audit yang jelas atas setiap langkah dalam rantai pemikiran saat model berada dalam mode penalaran, atau setidaknya jejak terstruktur dari pemanggilan alat dan kotak pembatas. Baidu menyatakan model ini telah menjalani pembelajaran penguatan multimodal dan penyelarasan grounding, tetapi evaluasi pihak ketiga yang luas tetap diperlukan untuk membangun kepercayaan.

Poin Utama

• Baidu merilis ERNIE 4.5 VL 28B A3B Thinking, model multimodal sumber terbuka berlisensi Apache 2.0 untuk penggunaan komersial.
• Model ini diklaim mengungguli GPT-5 High dan Gemini 2.5 Pro pada tolok ukur yang berfokus pada visi, tetapi klaim tersebut masih menunggu validasi independen.
• Model ini menggunakan desain Mixture of Experts, dengan mengaktifkan sekitar 3 miliar dari 28 miliar parameter per token untuk mengurangi kebutuhan komputasi dan memori.
• Inferensi dapat dijalankan pada satu GPU 80 GB, sehingga mempermudah uji coba dan pengujian di lokasi sendiri.
• Fitur utama mencakup Thinking with Images untuk alur kerja memperbesar dan memeriksa gambar, grounding visual yang lebih kuat, serta pemahaman video.
• Enam kemampuan inti mencakup penalaran visual, tugas STEM, grounding, penggunaan alat, analisis video, dan perencanaan gambar dinamis.
• Pelatihan mencakup pembelajaran penguatan multimodal dengan GSPO dan IcePop serta pengambilan sampel tingkat kesulitan dinamis untuk menstabilkan MoE.
• Alat pengembang mencakup ERNIEKit, kompatibilitas dengan Transformers, vLLM, dan FastDeploy, serta halaman model dan repositori kode publik.
• Penggunaannya mencakup pemrosesan dokumen, pengendalian kualitas manufaktur, operasional gudang, dan dukungan pelanggan.
• Keterbatasannya meliputi kebutuhan GPU 80 GB, jendela konteks 128K, kompleksitas perutean MoE, serta pertanyaan yang belum terjawab tentang ketahanan dan keamanan.