Penggunaan AI meningkat, harga naik, dan waktu tunggu untuk memulai lebih lama
Konsumsi token kecerdasan buatan harian China mencapai sekitar 500 triliun pada Juni 2026, hampir empat kali lipat dibandingkan tingkat pada Desember 2025, menurut Akademi Teknologi Informasi dan Komunikasi China (CAICT). Harga naik seiring permintaan: harga domestik rata-rata, yang disesuaikan ke basis umum untuk perbandingan, meningkat dari 6,8 yuan pada paruh kedua 2025 menjadi 13,46 yuan pada 2026, naik sekitar 98%.
Daftar Isi
- Penggunaan AI meningkat, harga naik, dan waktu tunggu untuk memulai lebih lama
- Besarnya konsumsi China
- Hal yang dipantau dalam laporan
- Harga naik kembali setelah dua tahun penurunan
- Jawaban lebih cepat muncul setelah proses pembuatan dimulai
- Mengapa respons pertama membutuhkan waktu lebih lama
- Model dapat menangani jauh lebih banyak informasi sekaligus
- Kinerja model yang sama berbeda di setiap platform
- Arti perubahan ini bagi pelanggan
- Poin Utama
Laporan Pemantauan Kinerja Layanan Token Model Besar CAICT (2026), yang dirilis pada 23 Oktober, juga mencatat perubahan yang mungkin dirasakan langsung oleh pengguna. Model domestik menghasilkan teks sekitar dua kali lebih cepat pada Agustus dibandingkan rata-rata selama 2025, tetapi membutuhkan waktu lebih lama untuk menghasilkan token pertama. Setelah jawaban mulai muncul, prosesnya lebih cepat; sebelum dimulai, waktu tunggunya lebih lama.
Temuan ini menggambarkan pasar yang pulih setelah dua tahun persaingan harga, konsumsi yang tumbuh pesat, serta layanan yang mampu memproses informasi dalam jumlah jauh lebih besar. Temuan tersebut juga menunjukkan mengapa memilih layanan AI tidak cukup hanya dengan memeriksa nama model: platform berbeda yang menjalankan model sama menghasilkan kinerja yang sangat berbeda.
Besarnya konsumsi China
Token adalah unit kecil informasi yang diproses atau dihasilkan model AI. Dalam teks, token dapat berupa kata, bagian dari kata, atau tanda baca. Token menyediakan cara umum untuk mengukur jumlah pekerjaan yang ditangani model, meskipun hubungannya dengan kata berbeda-beda di setiap bahasa dan sistem.
Karena itu, angka CAICT yang mencapai sekitar 500 triliun token per hari menggambarkan volume aktivitas model. Kenaikan hampir empat kali lipat sejak Desember 2025 setara dengan pertumbuhan sekitar 300%, sehingga total pada Juni hampir empat kali tingkat sebelumnya.
Semakin banyak penyedia kini menjual akses melalui platform model as a service, yang sering disingkat MaaS. Pelanggan mengirim permintaan melalui antarmuka pemrograman aplikasi cloud publik, atau API, yakni koneksi yang memungkinkan satu perangkat lunak meminta perangkat lunak lain melakukan tugas. Perusahaan dapat menggunakan cara ini untuk menghadirkan AI dalam produk mereka tanpa mengoperasikan model yang mendasarinya sendiri.
Hal yang dipantau dalam laporan
Institut Riset Kecerdasan Buatan CAICT menerbitkan laporan tersebut bersama laboratorium utama evaluasi model besar serta perangkat keras dan perangkat lunak milik Kementerian Industri dan Teknologi Informasi, serta Aliansi Industri Kecerdasan Buatan. Pemantauan mencakup periode Januari hingga Agustus 2026.
Penilaian ini mengkaji tingkat keberhasilan permintaan, kecepatan keluaran, waktu tunggu sebelum keluaran dimulai, stabilitas, harga, dan jendela konteks. Laporan membandingkan platform model resmi dengan layanan pihak ketiga yang menawarkan DeepSeek, Qwen, GLM, dan Kimi, empat keluarga model sumber terbuka.
CAICT menyatakan pengguna kerap tidak memiliki cara mudah untuk menilai kinerja layanan token dan kesulitan memilih penyedia. Pengukuran dalam laporan menjawab persoalan praktis tersebut dengan memisahkan sejumlah aspek layanan yang tak terlihat jika hanya mengandalkan satu angka harga atau kecepatan.
Tanggal-tanggal utama menunjukkan bagaimana perubahan ini berlangsung:
- Desember 2025: titik pembanding untuk kenaikan konsumsi token harian domestik yang hampir empat kali lipat.
- Januari hingga Agustus 2026: periode pemantauan dalam laporan.
- Mei 2026: pemantauan mulai mencakup versi baru dari empat keluarga model sumber terbuka.
- Juni 2026: konsumsi token harian domestik mencapai sekitar 500 triliun.
- Agustus 2026: kecepatan keluaran domestik rata-rata mencapai 78,23 token per detik.
- 23 Oktober 2026: laporan dirilis.
Harga naik kembali setelah dua tahun penurunan
Layanan model domestik memasuki 2026 setelah dua tahun persaingan harga. Kenaikan dari 6,8 yuan menjadi 13,46 yuan berarti tambahan 6,66 yuan berdasarkan pengukuran harga yang dinormalisasi oleh CAICT, hampir dua kali lipat rata-rata sebelumnya.
Normalisasi berarti mengonversi berbagai skema harga ke basis yang sama agar dapat dibandingkan. Satuan penagihan di balik angka yuan tersebut tidak disebutkan, sehingga pelanggan tidak dapat langsung mengonversi harga rata-rata dalam laporan menjadi biaya untuk permintaan tertentu.
Model-model umum dari luar China yang diluncurkan pada 2026 rata-rata mencapai sekitar 117,8 yuan berdasarkan pengukuran normalisasi yang sama. Angka itu sekitar 8,8 kali rata-rata domestik sebesar 13,46 yuan. Perbandingan tersebut menggambarkan kelompok yang dipantau, sementara pelanggan tetap menghadapi harga berbeda untuk setiap model dan platform.
Jawaban lebih cepat muncul setelah proses pembuatan dimulai
Model domestik menghasilkan rata-rata 78,23 token per detik pada Agustus, dibandingkan rata-rata 38,25 selama 2025. Kenaikannya sekitar 105%, yang berarti kecepatan keluaran sedikit lebih dari dua kali lipat.
Ukuran ini, yang dikenal sebagai throughput atau token per detik (TPS), menggambarkan seberapa cepat layanan menghasilkan jawaban. Angka yang lebih tinggi dapat mempersingkat waktu yang diperlukan untuk menyampaikan jawaban panjang setelah proses pembuatan dimulai.
Model-model umum dari luar China rata-rata menghasilkan 112,82 token per detik pada Agustus, sekitar 44% lebih tinggi daripada angka domestik. Kecepatan keluarannya juga meningkat tajam, dari 51,35 token per detik pada Desember 2025, naik sekitar 120%.
Periode pembandingnya berbeda: angka domestik dibandingkan dengan rata-rata sepanjang 2025, sedangkan angka asing dibandingkan dengan Desember. Kedua seri menunjukkan peningkatan besar dalam kecepatan keluaran, dengan model asing yang dipantau mencatat rata-rata Agustus lebih tinggi.
Mengapa respons pertama membutuhkan waktu lebih lama
Model domestik rata-rata membutuhkan waktu 1,26 detik untuk menghasilkan token pertama pada Agustus, naik dari 0,78 detik selama 2025. Kenaikan 0,48 detik tersebut setara dengan sekitar 62%.
Masa tunggu ini disebut waktu menuju token pertama, atau TTFT. Bagi pengguna chatbot, ini adalah jeda antara mengirim permintaan dan melihat jawaban mulai muncul. Throughput mengukur kecepatan setelah jeda tersebut, sehingga layanan dapat membaik dalam satu ukuran sekaligus melambat dalam ukuran lainnya.
Model-model umum asing rata-rata membutuhkan waktu 2,08 detik untuk mulai merespons pada Agustus, dibandingkan 1,04 detik pada April. Dengan demikian, model domestik mulai menghasilkan keluaran rata-rata 0,82 detik lebih cepat pada Agustus, meskipun keluaran berikutnya lebih lambat.
CAICT mengaitkan meningkatnya waktu tunggu awal dengan beberapa perubahan yang terjadi bersamaan: model yang lebih besar, konteks yang lebih panjang, dan jumlah permintaan yang lebih banyak. Model yang lebih besar membutuhkan lebih banyak komputasi; konteks yang lebih panjang memberi model lebih banyak informasi untuk diproses; lalu lintas yang lebih padat meningkatkan beban layanan.
Model dapat menangani jauh lebih banyak informasi sekaligus
Di antara model yang dipantau, 47,8% mendukung jendela konteks sebesar 1 juta token. Proporsi yang jauh lebih besar, yakni 95,7%, mampu menangani setidaknya 200.000 token, meningkat lebih dari 76 poin persentase dibandingkan akhir 2025.
Jendela konteks adalah jumlah informasi yang dapat diproses model dalam satu permintaan. Isinya dapat mencakup instruksi, percakapan sebelumnya, dan dokumen yang dikirim untuk dianalisis. Jendela yang lebih besar memberi pengguna ruang untuk memasukkan lebih banyak informasi sekaligus, alih-alih membaginya ke dalam beberapa permintaan terpisah.
Angka-angka tersebut menunjukkan betapa cepat kapasitas konteks yang lebih panjang menyebar di antara model yang dipantau. Hampir separuh menawarkan kapasitas 1 juta token, sedangkan hanya 4,3% yang masih berada di bawah 200.000. Kenaikan lebih dari 76 poin persentase berarti proporsi model yang mendukung setidaknya 200.000 token pada akhir 2025 masih di bawah 19,7%.
Bagi perusahaan yang memproses dokumen panjang, perluasan kapasitas ini mengubah jumlah informasi yang dapat dimuat dalam satu tugas. Hal ini juga membantu menjelaskan mengapa laporan tersebut mengkaji kapasitas bersama waktu tunggu: model mungkin sedang menangani jauh lebih banyak informasi sebelum respons pertama terlihat.
Kinerja model yang sama berbeda di setiap platform
Layanan DeepSeek, Qwen, GLM, dan Kimi menunjukkan perbedaan dalam throughput, waktu respons awal, dan tingkat keberhasilan permintaan, bergantung pada penyedianya. Untuk model yang sama, perbedaan kecepatan keluaran antarplatform mendekati dua kali lipat.
Beberapa layanan pihak ketiga berkinerja lebih baik daripada platform resmi. CAICT mengaitkan variasi ini dengan perbedaan dalam akselerasi inferensi, strategi optimasi, dan pengendalian biaya. Inferensi adalah proses komputasi yang digunakan model terlatih untuk menghasilkan jawaban; penyedia dapat mengatur dan mengoptimalkan proses tersebut dengan cara berbeda.
Perubahan versi juga berpengaruh. Pada Agustus, DeepSeek-V4-Pro mencapai throughput dua kali lipat dibandingkan DeepSeek-V3.2. Setelah pembaruan pada Mei, model-model yang dipantau umumnya mengalami peningkatan awal waktu tunggu, lalu penurunan seiring penyedia menerapkan optimasi. Penundaan secara bertahap kembali mendekati tingkat sebelum pembaruan.
Karena itu, pelanggan yang memilih layanan menghadapi dua keputusan terkait: model mana yang digunakan dan platform mana yang menjalankannya. Temuan laporan menjadikan kinerja di tingkat penyedia sebagai bagian nyata dari pilihan tersebut.
Arti perubahan ini bagi pelanggan
Perusahaan yang membeli akses AI kini menghadapi kenaikan harga rata-rata domestik, sekaligus kecepatan keluaran yang lebih tinggi dan jendela konteks yang jauh lebih besar. Perbandingan yang paling berguna bergantung pada jenis pekerjaan: obrolan interaktif mengutamakan respons awal yang cepat, sedangkan pembuatan jawaban panjang membuat kecepatan keluaran berkelanjutan lebih penting.
Layanan analisis dokumen mungkin membutuhkan jendela konteks yang besar, sementara aplikasi yang menangani permintaan pelanggan berulang juga bergantung pada keberhasilan panggilan dan kinerja yang stabil. CAICT menyertakan semua ukuran ini karena masing-masing memengaruhi bagian berbeda dari pengalaman pengguna.
Secara keseluruhan, laporan ini menggambarkan pasar yang berkembang dari sisi volume dan kemampuan, sekaligus makin mahal berdasarkan pengukuran harga yang dinormalisasi. Layanan domestik tetap memiliki keunggulan harga yang besar dibandingkan model asing yang dipantau dan rata-rata mulai merespons lebih cepat pada Agustus. Model asing menghasilkan token lebih cepat setelah keluaran dimulai. Di kedua kelompok, waktu tunggu token pertama yang kian panjang menunjukkan tekanan akibat model yang lebih besar dan penggunaan yang meningkat.
Poin Utama
- China mengonsumsi sekitar 500 triliun token AI per hari pada Juni 2026, hampir empat kali tingkat pada Desember 2025.
- Harga domestik yang dinormalisasi naik sekitar 98%, dari 6,8 yuan menjadi 13,46 yuan.
- Kecepatan keluaran domestik rata-rata mencapai 78,23 token per detik pada Agustus, lebih dari dua kali rata-rata 2025.
- Waktu tunggu model domestik untuk token pertama naik dari 0,78 detik menjadi 1,26 detik.
- Sekitar 95,7% model yang dipantau mendukung jendela konteks setidaknya 200.000 token.
- Kecepatan keluaran model yang sama berbeda hampir dua kali lipat antarplatform, dan beberapa penyedia pihak ketiga berkinerja lebih baik daripada layanan resmi.






