Xiaomi MiMo Mencapai 1.000 Token per Detik pada GPU Komersial Tanpa Chip Khusus

Rekor Kecepatan Baru dalam Kecerdasan Buatan

Pada 8 Juni 2026, Xiaomi merilis MiMo V2.5 Pro UltraSpeed, mode inferensi yang mampu mendorong model bahasa dengan satu triliun parameter melampaui 1.000 token per detik pada unit pemrosesan grafis (GPU) cloud standar. Pencapaian ini menandai pertama kalinya model berskala sebesar ini melewati ambang tersebut tanpa mengandalkan silikon khusus atau perangkat keras khusus. Demo internal menunjukkan throughput puncak mendekati 1.200 token per detik secara berkelanjutan pada satu node komersial yang dilengkapi delapan GPU.

Untuk memahami signifikansinya, bandingkan dengan tolok ukur publik saat ini. GPT 5.5 dari OpenAI menghasilkan sekitar 68 token per detik. Claude Opus 4.6 beroperasi pada sekitar 71 token per detik, sedangkan Google Gemini Flash mencapai 192. Mode UltraSpeed Xiaomi menghasilkan keluaran sekitar 15 kali lebih cepat daripada pengalaman ChatGPT standar, dan berjalan pada model yang sudah mampu bersaing dengan sistem terdepan dalam evaluasi rekayasa perangkat lunak.

Model di balik kecepatan ini adalah MiMo V2.5 Pro, arsitektur Mixture of Experts dengan 1,02 triliun parameter dan jendela konteks satu juta token. Tidak seperti banyak pesaingnya, sistem ini memproses teks, gambar, audio, dan video secara native dalam satu model. Xiaomi merilis checkpoint dasarnya dengan lisensi sumber terbuka MIT, sehingga pengembang dapat meng-host sendiri, melakukan fine-tuning, dan menerapkan sistem ini secara komersial tanpa biaya lisensi.

Kebangkitan Xiaomi yang Tak Terduga di Bidang Kecerdasan Buatan

Kebanyakan konsumen mengaitkan Xiaomi dengan ponsel pintar terjangkau, skuter listrik, dan belakangan ini kendaraan listrik. Perusahaan mengirimkan 33,8 juta ponsel pada kuartal pertama 2026 dan mengirimkan lebih dari 30.000 kendaraan listrik pada Mei saja. Namun, di balik produk konsumen tersebut terdapat divisi kecerdasan buatan khusus yang telah mengembangkan model bahasa besar sejak April 2025, ketika meluncurkan model penalaran ringkas dengan 7 miliar parameter.

Dalam 14 bulan sejak saat itu, keluarga MiMo berkembang menjadi salah satu jajaran model berbobot terbuka yang lebih kompetitif. Model unggulan saat ini, MiMo V2.5 Pro, debut pada 22 April 2026. Kinerjanya mendekati Claude Opus 4.6 dalam tugas rekayasa perangkat lunak, sementara biaya per tokennya sekitar seperdelapan. Harga standar model dasar adalah 0,025 yuan per sejuta token untuk cache hit, 3 yuan per sejuta token untuk cache miss pada input, dan 6 yuan per sejuta token untuk output.

Pengumuman pada 8 Juni menambahkan UltraSpeed sebagai mode penyajian berkinerja tinggi yang diterapkan langsung di atas model yang sudah ada ini. Alih-alih mengubah bobot atau arsitektur model, peningkatan kecepatan sepenuhnya berasal dari optimasi inferensi, sebuah pencapaian perangkat lunak yang menantang asumsi tentang kemampuan perangkat keras komersial.

Biaya Kecepatan dalam AI Modern

Kecepatan inferensi telah menjadi medan persaingan penting bagi model bahasa besar. Laju sistem menghasilkan token tidak hanya menentukan seberapa cepat pengguna menerima jawaban, tetapi juga aplikasi mana yang layak secara ekonomi dan teknis. Model yang menghasilkan 68 token per detik bekerja dengan baik untuk antarmuka obrolan, saat manusia membaca sesuai kecepatannya sendiri. Namun, model itu sama sekali tidak memadai untuk tugas sensitif latensi seperti deteksi penipuan waktu nyata, sinyal perdagangan frekuensi tinggi, atau agen pengodean otonom yang harus menjalani beberapa langkah penalaran dalam hitungan detik.

Menyadari hambatan ini, sejumlah perusahaan rintisan membangun bisnis mereka di sekitar silikon khusus. Cerebras merancang chip berskala wafer sebesar kurang lebih piring makan, dengan memori terpasang berkapasitas 44 gigabita untuk menghilangkan kendala bandwidth yang memperlambat inferensi GPU konvensional. Sistem itu mencapai sekitar 969 token per detik pada Llama 3.1 405B milik Meta, model dengan jumlah parameter kurang dari separuh MiMo V2.5 Pro. Groq mengembangkan arsitektur Language Processing Unit khusus yang mampu menghasilkan 300 hingga 750 token per detik, bergantung pada modelnya. Kedua platform tersebut tidak berjalan pada perangkat keras yang tersedia melalui layanan penyewaan cloud standar.

Pendekatan Xiaomi menolak perlombaan senjata perangkat keras ini. Dengan mengoptimalkan perangkat lunak dan desain model secara bersamaan, perusahaan mencapai kecepatan sebanding pada GPU komersial yang bisa disewa. Secara teori, pengembang mana pun yang memiliki akses ke node standar dengan delapan GPU dapat mereplikasi hasil tersebut. Ini dapat mengalihkan keunggulan kompetitif dari produsen chip khusus ke inovasi algoritmik.

Memadatkan Kecerdasan dengan Kuantisasi FP4

Pilar pertama UltraSpeed adalah kompresi numerik agresif yang disebut kuantisasi FP4. Inferensi model standar biasanya menyimpan bobot dengan presisi 16 bit atau 8 bit. Setiap parameter membutuhkan bandwidth memori tertentu, dan pada skala triliun parameter, memindahkan bobot tersebut dari memori ke inti pemrosesan saja dapat menimbulkan kemacetan lalu lintas yang membatasi kecepatan pembuatan keluaran.

Solusi Xiaomi menerapkan presisi 4 bit secara selektif. Arsitektur Mixture of Experts memiliki banyak lapisan ahli, yang menampung sebagian besar parameter dan terbukti lebih toleran terhadap penurunan presisi. Xiaomi hanya memampatkan lapisan ahli tersebut ke format MXFP4, sementara modul model lainnya dipertahankan pada presisi lebih tinggi, yang dilaporkan sebagai FP8. Pendekatan selektif ini memperkecil jejak memori tanpa menurunkan kualitas keluaran, karena Quantization Aware Training mengintegrasikan kompresi ke dalam proses pembelajaran model. Hasil tolok ukur menunjukkan varian terkuantisasi pada dasarnya sebanding dengan versi asli berpresisi penuh.

Karena lapisan ahli mencakup sebagian besar model, kompresi selektif ini secara drastis mengurangi jumlah data yang harus melewati memori pada setiap langkah pembuatan keluaran. Penghematan bandwidth tersebut langsung meningkatkan throughput.

Memprediksi Secara Paralel dengan Speculative Decoding DFlash

Pilar kedua mengatasi sifat berurutan dalam pembuatan bahasa. Biasanya, model menghasilkan token satu per satu, dan setiap token baru bergantung pada semua token sebelumnya. Speculative decoding menawarkan jalan pintas: model draf yang lebih kecil dengan cepat menebak beberapa token berikutnya, lalu model target yang lebih besar memverifikasi semua tebakan itu secara paralel. Sistem menghemat waktu saat tebakan cocok. Speculative decoding tradisional masih mengharuskan model draf menghasilkan tebakan secara berurutan, sehingga manfaatnya terbatas.

DFlash, metode dari komunitas riset yang disempurnakan Xiaomi, menghilangkan sepenuhnya kendala berurutan tersebut. Alih-alih menebak token satu per satu, model draf mengisi seluruh blok posisi bertopeng dalam satu proses forward pass. Xiaomi menyetel proses ini menggunakan optimizer orde dua Muon dan distilasi mandiri model. Model draf hanya menggunakan Sliding Window Attention, sehingga biaya komputasi setiap prediksi tetap konstan terlepas dari panjang percakapan.

Dalam skenario pengodean, sistem mencapai rata-rata penerimaan 6,3 token per putaran verifikasi dari ukuran blok maksimum 8. Artinya, model besar mengonfirmasi enam atau tujuh token dalam satu langkah, alih-alih menghasilkannya satu per satu. Karena rejection sampling memastikan hanya token valid yang diteruskan, keluaran secara matematis identik dengan hasil decoding standar. Peningkatan kecepatan ini tidak mengurangi kualitas.

Menghilangkan Jeda Mikrodetik dengan TileRT

Pilar ketiga menyasar hambatan tak terlihat yang baru muncul pada kecepatan ekstrem. Saat inferensi melampaui 1.000 token per detik, setiap operator matematis hanya berjalan selama beberapa mikrodetik. Sistem penyajian tradisional menjalankan operator satu demi satu, dengan jeda singkat di antara setiap peluncuran. Pada kecepatan normal, jeda ini dapat diabaikan. Pada tingkat UltraSpeed, jeda tersebut memecah alur eksekusi dan menjadi hambatan utama.

TileRT, yang dikembangkan bersama mitra inferensi TileRT, mengatasi hal ini dengan Persistent Engine Kernel yang terus berada di dalam GPU. Alih-alih memulai dan menghentikan operasi, kernel menggunakan Warp Specialization untuk menetapkan thread perangkat keras tertentu pada peran terkoordinasi dalam pemindahan data, komputasi, dan komunikasi. Bahkan operasi kecil seperti RMSNorm, rotary position embeddings, dan penulisan KV cache, yang biasanya menimbulkan jeda berskala mikrodetik, dapat berjalan tanpa gangguan.

Sistem ini dirancang bersamaan dengan penggunaan FP4 dan DFlash, bukan ditambahkan belakangan. Perancangan bersama model dan sistem yang ekstrem ini memastikan ketiga lapisan saling selaras. Xiaomi menyatakan secara eksplisit bahwa tidak satu pun dari ketiga teknik itu secara terpisah mampu mencapai 1.000 token per detik. Hanya eksekusi gabungan ketiganya yang menghasilkan rekor tersebut.

Dampak di Dunia Nyata dan Konteks Bisnis

Ambang 1.000 token mengubah jenis aplikasi yang masuk akal untuk model kelas terdepan. Penalaran paralel menjadi praktis, sehingga sistem dapat menjalankan puluhan jalur penalaran Best of N atau tree search dalam waktu nyata yang sama dengan yang dibutuhkan model lebih lambat untuk menjalankan satu jalur. Agen pengodean diuntungkan karena pembuatan keluaran yang lebih cepat mengurangi waktu tunggu di antara langkah-langkah otonom. Siklus keputusan waktu nyata untuk pembuatan sinyal perdagangan, pencegatan penipuan, dan sistem dialog langsung menjadi lebih layak ketika latensi turun di bawah ambang persepsi manusia.

Xiaomi menunjukkan dampak praktisnya melalui demo publik. Gim Snake yang berfungsi penuh dibuat dalam sekitar sepuluh detik. Prototipe antarmuka macOS muncul dalam waktu sekitar satu menit. Tugas-tugas ini dibatasi oleh throughput, sehingga kecepatan token mentah menjadi kendala utama.

Akses ke UltraSpeed tersedia melalui uji coba API terbatas berbasis aplikasi mulai 9 hingga 23 Juni 2026. Harganya tiga kali lipat tarif standar MiMo V2.5 Pro, setara dengan sekitar $1,29 per sejuta token input dan $2,61 per sejuta token output menurut perhitungan nilai tukar saat ini. Xiaomi menjanjikan kecepatan pembuatan keluaran sekitar sepuluh kali lipat dengan harga tersebut. Layanan berlangganan Token Plan tidak berlaku untuk UltraSpeed. Pengguna yang disetujui mendapat akses Chat gratis selama dua minggu dengan batas harian: sepuluh entri antrean per akun, batas sesi 30 menit, dan pelepasan sumber daya otomatis setelah lima menit tanpa aktivitas.

Terlepas dari pencapaian teknis ini, pasar keuangan merespons dengan biasa saja. Saham Xiaomi ditutup pada €2,91 pada 11 Juni, hanya 1,75% di atas level terendah dalam 52 minggu dan mencatat penurunan 35% sejak awal tahun. Perusahaan terus melakukan diversifikasi, meluncurkan ponsel pintar premium 17T di India pada hari yang sama dengan perilisan asisten MiMo Code, serta memperluas bisnis kendaraan listrik bersama Kota Changchun. Apakah momentum operasional mampu membalikkan kinerja saham akan bergantung pada data pendapatan mendatang.

Perilisan Sumber Terbuka dan Pertanyaan Verifikasi

Xiaomi telah merilis checkpoint MiMo V2.5 Pro FP4 DFlash sebagai sumber terbuka di Hugging Face, termasuk bobot terkuantisasi dan parameter DFlash. TileRT telah menerbitkan modul-modul tertentu di GitHub. Transparansi ini membuka peluang pengujian independen oleh komunitas, yang akan sangat penting karena semua klaim kecepatan saat ini berasal dari tolok ukur internal Xiaomi. Belum ada verifikasi independen dari pihak ketiga yang dipublikasikan.

Replikasi oleh komunitas akan menguji beberapa pertanyaan terbuka. Pertama, apakah angka 1.000 token per detik tetap tercapai pada instans GPU umum di luar lingkungan uji coba Xiaomi yang terkendali. Kedua, apakah penurunan kualitas muncul pada tugas percakapan terbuka, ketika tingkat penerimaan speculative decoding saat ini lebih rendah dibandingkan tugas pengodean terstruktur. Ketiga, apakah pendekatan persistent kernel TileRT dapat diintegrasikan dengan tumpukan penyajian standar yang sudah diterapkan di lingkungan produksi.

Jika pengujian independen mengonfirmasi klaim tersebut, Xiaomi akan mencapai lewat perangkat lunak apa yang dikejar para pesaing melalui silikon khusus dengan menggelontorkan ratusan juta dolar. Hasil itu akan menunjukkan bahwa perancangan bersama secara algoritmik dapat membuka tingkat kinerja yang sebelumnya dianggap membutuhkan perangkat keras khusus, dan berpotensi mengalihkan arah investasi di seluruh industri kecerdasan buatan.

Poin-Poin Utama

• MiMo V2.5 Pro UltraSpeed dari Xiaomi menjadi model triliun parameter pertama yang melampaui 1.000 token per detik pada GPU komersial standar saat diluncurkan pada 8 Juni 2026.
• Kecepatan tersebut berasal dari tiga teknik terkoordinasi: kuantisasi lapisan ahli FP4, speculative decoding blok DFlash, dan runtime GPU persisten TileRT.
• Model MiMo V2.5 Pro yang mendasarinya memiliki kinerja mendekati Claude Opus 4.6 dalam tugas pengodean, dengan biaya per token sekitar seperdelapan.
• Tidak seperti pesaing seperti Cerebras dan Groq, Xiaomi meraih rekor ini tanpa silikon khusus, dengan menggunakan node standar berisi delapan GPU yang tersedia melalui penyedia cloud.
• Checkpoint MiMo V2.5 Pro FP4 DFlash tersedia dengan lisensi sumber terbuka MIT di Hugging Face, sementara modul TileRT tersedia di GitHub.
• Uji coba API terbatas berlangsung dari 9 hingga 23 Juni 2026, dengan harga tiga kali tarif standar untuk kecepatan pembuatan keluaran sekitar sepuluh kali lipat.
• Saham Xiaomi masih berada di dekat level terendah dalam 52 minggu meski ada terobosan teknis ini, dengan penurunan 35% sejak awal tahun hingga pertengahan Juni 2026.