Saat 595 Gigabita Berhadapan dengan Realitas Pengembang
Dua hari setelah merilis apa yang disebut analis industri sebagai model kecerdasan buatan sumber terbuka paling kuat yang pernah dibuat, para peneliti Moonshot AI masuk ke Reddit untuk menghadapi audiens yang sama-sama antusias dan frustrasi. Startup yang berbasis di Beijing itu punya banyak alasan untuk merayakannya. Kimi K2.5 menjadi berita utama karena mempersempit kesenjangan kemampuan dengan raksasa AI Amerika dan menguji batas kendali ekspor cip Amerika Serikat. Namun, para pengembang yang menunggu di r/LocalLLaMA, sebuah forum tempat para insinyur bertukar saran untuk menjalankan model bahasa besar dengan beragam perangkat, mulai dari satu GPU konsumen hingga rak kecil perangkat keras kelas prosumer, punya persoalan yang lebih mendesak. Mereka ingin tahu kapan mereka benar-benar bisa menggunakannya.
Daftar Isi
- Saat 595 Gigabita Berhadapan dengan Realitas Pengembang
- Masalah Ukuran yang Tak Kunjung Hilang
- Apakah Hukum Penskalaan Telah Mencapai Batas?
- Di Balik Agent Swarm: Cara 100 Sub-Agen Berbagi Memori
- Pergeseran dari Sistem 1 ke Sistem 2
- Mengapa Kimi Terkadang Menyebut Dirinya Claude
- Mencari Jiwa dalam Model Imbalan
- Men-debug sebagai Pekerjaan Nyata dalam Riset AI
- Peta Jalan Menuju K3 dan Pembelajaran Berkelanjutan
- Yang Diungkap tentang AI Terbuka pada 2026
- Sekilas
Sesi Ask Me Anything selama tiga jam itu menjadi jendela yang tak terduga dan terus terang ke dalam pengembangan AI terdepan pada 2026. Bukan versi yang dipoles seperti dalam materi pemasaran perusahaan, melainkan kenyataan berantakan saat men-debug kegagalan, mengelola pergeseran kepribadian, dan menghadapi ketegangan mendasar yang membentuk AI sumber terbuka saat ini. Moonshot telah menerbitkan bobot modelnya agar siapa pun dapat mengunduh dan menyesuaikannya. Ukuran berkasnya sekitar 595 gigabita. Bagi sebagian besar pengembang di utas tersebut, keterbukaan itu masih sebatas teori.
Tiga anggota tim Moonshot berpartisipasi dengan nama pengguna ComfortableAsk4494, zxytim, dan ppwwyyxx. Dalam sekitar 187 komentar, mereka menjawab pertanyaan tentang arsitektur, metodologi pelatihan, dan teka-teki filosofis tentang apa yang membentuk karakter sebuah model AI. Mereka juga memberi gambaran tentang sumber kemajuan berikutnya, yang ternyata bukan sekadar penambahan parameter.
Masalah Ukuran yang Tak Kunjung Hilang
Gelombang pertanyaan pertama memperlakukan Kimi K2.5 lebih sebagai masalah logistik daripada terobosan. Seorang pengguna bertanya terus terang mengapa Moonshot tidak membuat model yang lebih kecil bersama model andalannya. "Ukuran kecil seperti 8B, 32B, 70B adalah titik yang bagus untuk kepadatan kecerdasan," tulisnya, merujuk pada jumlah parameter dalam miliaran. Pengguna lain mengatakan model raksasa sulit dirayakan karena banyak pengembang tidak mampu menjalankannya. Pengguna ketiga menunjuk pesaing Amerika sebagai patokan ukuran, meminta varian yang berfokus pada pemrograman dan dapat dijalankan di GPU sederhana.
Tim Moonshot tidak langsung mengumumkan model yang lebih kecil. Namun, mereka mengakui adanya permintaan itu dengan cara yang menunjukkan bahwa keluhan tersebut sudah akrab. "Permintaan diterima dengan baik!" tulis salah satu anggota tim. Anggota lainnya mengatakan koleksi model Moonshot sudah mencakup beberapa model Mixture of Experts yang lebih kecil di Hugging Face, sembari mengingatkan bahwa model kecil dan besar sering kali membutuhkan investasi rekayasa yang berbeda.
Jawaban paling mengungkap muncul saat seorang pengguna bertanya apakah Moonshot akan membuat model sekitar 100 miliar parameter yang dioptimalkan untuk penggunaan lokal. Tim Kimi mengajukan kompromi lain: model berukuran 200 miliar atau 300 miliar parameter yang dapat mempertahankan kinerja di atas apa yang mereka sebut "ambang kegunaan" untuk banyak tugas. Jawaban itu menggambarkan dilema yang dihadapi laboratorium model berbobot terbuka. Model 200 hingga 300 miliar parameter akan memperluas akses dibandingkan sistem satu triliun parameter, tetapi tetap mengandaikan penggunaan beberapa GPU atau teknik kuantisasi agresif yang mengurangi presisi demi menghemat memori.
Para pengembang di utas itu bukan sekadar meminta model yang agak lebih kecil. Mereka meminta model yang ukurannya sesuai dengan perangkat keras yang benar-benar mereka miliki, serta peta jalan yang menjadikan penerapan lokal sebagai batasan utama, bukan sekadar pertimbangan belakangan bagi penghobi. Percakapan itu menyoroti perpecahan yang kian lebar di komunitas AI sumber terbuka antara laboratorium yang merilis model raksasa yang membutuhkan infrastruktur sebesar pusat data dan praktisi yang ingin menjalankan sistem di perangkat mereka sendiri.
Apakah Hukum Penskalaan Telah Mencapai Batas?
Setelah keluhan soal perangkat keras, utas beralih ke pertanyaan yang kini dianggap banyak peneliti sebagai isu utama model bahasa besar: apakah hukum penskalaan mulai mencapai titik jenuh? Hukum penskalaan merujuk pada hubungan yang dapat diprediksi antara ukuran model, volume data, dan kinerja, yang selama bertahun-tahun mendorong kemajuan AI. Salah seorang peserta bertanya langsung apakah penskalaan telah "mencapai batas".
Perwakilan Kimi menjawab dengan diagnosis yang kian lazim di industri. "Jumlah data berkualitas tinggi tidak bertambah secepat kapasitas komputasi yang tersedia," tulisnya, "jadi penskalaan dengan prediksi token berikutnya konvensional menggunakan data internet akan menghasilkan peningkatan yang lebih kecil." Pengamatan ini menyoroti batasan mendasar: jumlah teks berkualitas di internet terbatas, dan laboratorium AI sudah melatih model menggunakan sebagian besar darinya.
Kemudian tim mengajukan jalan keluar yang mereka pilih. Mereka menunjuk Agent Swarm, kemampuan Kimi K2.5 untuk mengoordinasikan hingga 100 sub-agen yang bekerja secara paralel, sebagai bentuk "penskalaan saat inferensi" yang dapat membuka jalur baru untuk meningkatkan kemampuan. Penskalaan saat inferensi berarti menambah komputasi ketika model sedang menjawab pertanyaan, bukan pada tahap awal pelatihan.
Menurut kerangka yang diajukan tim, penskalaan tidak harus hanya berarti menjalankan prapelatihan yang lebih besar. Penskalaan juga dapat berarti menambah pekerjaan terstruktur saat inferensi, lalu memasukkan kembali wawasan tersebut ke dalam pelatihan melalui pembelajaran penguatan. "Mungkin akan ada paradigma penskalaan baru yang bisa diterapkan," tulis salah satu anggota tim. "Ke depannya, kemungkinan akan ada model yang belajar dengan lebih sedikit atau bahkan tanpa pengetahuan awal dari manusia."
Pernyataan itu menyiratkan bahwa tolok ukur kemajuan mungkin beralih dari jumlah parameter dan kurva loss prapelatihan menuju sistem yang mampu merencanakan, mendelegasikan, dan memverifikasi, dengan menggunakan alat dan sub-agen sebagai komponen dasar alih-alih mengandalkan satu proses neural network yang sangat besar.
Di Balik Agent Swarm: Cara 100 Sub-Agen Berbagi Memori
Di atas kertas, Agent Swarm terdengar seperti gagasan lama dengan kemasan baru: banyak agen AI bekerja sama menyelesaikan tugas. Sesi AMA mengungkap detail yang lebih penting tentang lokasi penyimpanan memori, cara koordinasi berlangsung, dan alasan orkestrasi tidak berubah menjadi kebisingan.
Seorang pengembang mengangkat persoalan klasik dalam sistem multi-agen. Dengan 100 sub-agen, agen orkestrator sering menjadi hambatan, baik dari sisi latensi maupun hal yang disebut komunitas sebagai "pembusukan konteks". Pembusukan konteks adalah penurunan kinerja yang terjadi ketika riwayat percakapan dipenuhi obrolan internal dan jejak penggunaan alat, hingga model kehilangan arah tentang hal yang hendak dicapainya.
Salah satu anggota tim Kimi menjawab dengan pilihan desain yang penting bagi siapa pun yang membangun sistem agen untuk keperluan perusahaan.
Sub-agen bekerja dengan memori kerja masing-masing dan mengirimkan hasilnya kembali ke orkestrator, alih-alih mengalirkan semuanya ke konteks bersama. Hal ini memungkinkan kami memperluas panjang konteks total ke dimensi baru!
Pengembang lain mempertanyakan klaim kinerja. Moonshot secara terbuka menyebut Agent Swarm mampu menghasilkan percepatan sekitar 4,5 kali untuk alur kerja yang sesuai, tetapi para skeptis bertanya apakah angka itu sekadar mencerminkan tingkat kemungkinan sebuah tugas untuk diparalelkan. Tim mengakui bahwa hasilnya bergantung pada tugas. Dalam beberapa kasus, sistem memutuskan bahwa sebuah tugas tidak membutuhkan agen paralel dan menghindari komputasi tambahan. Tim juga menjelaskan bahwa orkestrator harus mengelola anggaran token sub-agen dengan memberikan tugas yang ukurannya sesuai kepada tiap sub-agen.
Jika dibaca sebagai penjelasan rekayasa, bukan pemasaran, Moonshot menggambarkan pola yang lazim di perusahaan: menjaga bidang kendali tetap rapi, membatasi keluaran proses pekerja, dan menghindari membanjiri koordinator dengan log yang tak mampu dicerna. Arsitektur ini mengisyaratkan bahwa sistem AI masa depan akan lebih menyerupai klaster komputasi terdistribusi daripada chatbot monolitik.
Pergeseran dari Sistem 1 ke Sistem 2
Pergeseran paling penting yang tersirat dalam sesi AMA bukanlah skor tolok ukur baru, melainkan pernyataan tentang prioritas riset. Salah satu pertanyaan menyinggung apakah Moonshot mengalihkan komputasi dari prapelatihan "Sistem 1" ke pembelajaran penguatan "Sistem 2". Istilah ini merujuk pada mode kognitif yang dipopulerkan psikolog Daniel Kahneman: Sistem 1 adalah pemikiran cepat dan intuitif, sedangkan Sistem 2 adalah penalaran yang lebih lambat dan terencana.
Dalam konteks AI, ini berarti pergeseran dari pembelajaran pola secara luas menuju pelatihan yang secara eksplisit memberi penghargaan atas penalaran dan perilaku benar dalam tugas bertahap. Perwakilan Kimi menjawab bahwa komputasi untuk pembelajaran penguatan akan terus meningkat, dan memperkirakan fungsi objektif RL baru akan bermunculan, "terutama di ranah agen".
Pernyataan itu terdengar seperti peta jalan. Seiring model semakin sering menggunakan alat dan menguraikan tugas, laboratorium akan mengalokasikan lebih banyak anggaran untuk melatih model agar berperilaku baik sebagai agen, bukan sekadar memprediksi token. Bagi perusahaan, hal ini penting karena peningkatan berbasis RL sering kali disertai konsekuensi lain. Model bisa menjadi lebih tegas, lebih sering menggunakan alat, atau semakin mengikuti sinyal imbalan yang tidak sepenuhnya sejalan dengan ekspektasi perusahaan.
Ketika ditanya soal kesenjangan komputasi antara Moonshot dan laboratorium Amerika yang memiliki jauh lebih banyak GPU, tim menjawab terus terang. "Menurut saya, kesenjangannya tidak menyempit," tulis salah satu anggota tim. "Tetapi seberapa banyak komputasi yang dibutuhkan untuk mencapai AGI? Kita lihat saja." Anggota lainnya menawarkan sudut pandang yang lebih filosofis: "Terlalu banyak faktor memengaruhi ketersediaan komputasi. Namun, apa pun keadaannya, inovasi menyukai keterbatasan."
Mengapa Kimi Terkadang Menyebut Dirinya Claude
Rilis model berbobot terbuka kini selalu disertai kecurigaan: apakah model itu belajar terlalu banyak dari pesaing? Kecurigaan tersebut bisa cepat berkembang menjadi tuduhan distilasi, yakni ketika satu AI belajar dengan dilatih menggunakan keluaran AI lain. Seorang pengguna mengangkat salah satu klaim paling tidak nyaman yang beredar di kalangan pengembang model terbuka: K2.5 terkadang mengidentifikasi dirinya sebagai "Claude", model andalan Anthropic. Implikasinya, model tersebut banyak meniru pesaing.
Moonshot tidak membantah perilaku itu. Sebaliknya, tim menjelaskan kondisi yang memicunya. Dengan prompt sistem yang tepat, kata mereka, kemungkinan model menjawab "Kimi" cukup tinggi, terutama dalam mode berpikir. Namun, dengan prompt sistem kosong, model bergeser ke apa yang mereka sebut "wilayah tak terdefinisi", yang mencerminkan distribusi data prapelatihan, bukan pilihan pelatihan yang disengaja.
Kemudian tim memberikan penjelasan spesifik yang berkaitan dengan keputusan pelatihan. Moonshot mengatakan mereka memperbanyak sampel data pemrograman internet yang lebih baru selama prapelatihan. Data ini tampaknya lebih erat kaitannya dengan token "Claude", kemungkinan karena para pengembang yang membahas asisten pemrograman AI sering menyebut model Anthropic tersebut. Tim membantah tuduhan distilasi dengan menunjukkan hasil tolok ukur.
Faktanya, K2.5 tampaknya mengungguli Claude pada banyak tolok ukur. HLE, BrowseComp, MMMU Pro, MathVision, sekadar menyebut beberapa di antaranya.
Bagi perusahaan yang mengadopsi model ini, poin pentingnya bukan drama di internet. Pergeseran identitas adalah kegagalan yang nyata, dan sering kali dapat dikurangi dengan mengendalikan prompt sistem, alih-alih membiarkan model mendeskripsikan dirinya secara acak. Sesi AMA memandang tata kelola prompt bukan sebagai pemanis pengalaman pengguna, melainkan sebagai praktik operasional penting untuk penerapan yang andal.
Mencari Jiwa dalam Model Imbalan
Tema yang berulang dalam utas tersebut adalah bahwa gaya penulisan K2.5 terasa lebih generik daripada model Kimi sebelumnya. Pengguna menggambarkannya lebih mirip "asisten yang selalu membantu" standar, nada yang kini dianggap banyak pengembang sebagai kepribadian bawaan model yang menjalani pascapelatihan intensif. Seorang pengguna mengatakan menyukai kepribadian Kimi K2 dan bertanya apa yang terjadi.
Salah satu anggota tim Kimi mengakui bahwa setiap rilis baru membawa sedikit perubahan kepribadian, dan mengatakan kepribadian bersifat subjektif serta sulit dinilai. "Ini masalah yang cukup sulit," tulisnya. Tim mengatakan ingin memperbaikinya dan membuat kepribadian lebih mudah disesuaikan untuk tiap pengguna.
Dalam percakapan terpisah tentang apakah peningkatan kemampuan pemrograman mengorbankan kemampuan menulis kreatif dan kecerdasan emosional, perwakilan Kimi berpendapat tidak ada pertentangan bawaan jika ukuran model cukup besar. Namun, mempertahankan "selera menulis" di berbagai versi sulit dilakukan, kata mereka, karena model imbalan terus berkembang. Tim mengandalkan tolok ukur internal, semacam meta-evaluasi, untuk melacak kemajuan dalam penulisan kreatif dan menyesuaikan model imbalan.
Jawaban lain melangkah lebih jauh dengan menggunakan istilah yang terdengar tidak lazim dalam spesifikasi AI perusahaan, tetapi akrab bagi orang yang menggunakan alat semacam ini setiap hari. Tim membahas "jiwa" model imbalan dan kemungkinan menyimpan "keadaan" pengguna yang mencerminkan seleranya, lalu menggunakannya untuk mengondisikan keluaran model. Percakapan itu menunjukkan ranah pengembangan produk yang kerap diremehkan perusahaan. Pergeseran gaya bukan sekadar soal estetika. Hal itu dapat mengubah cara model menjelaskan keputusan, mengungkapkan keraguan, menangani ambiguitas, serta berinteraksi dengan pelanggan dan karyawan.
Men-debug sebagai Pekerjaan Nyata dalam Riset AI
Wawasan budaya paling mengungkap muncul dalam jawaban atas pertanyaan tentang kejutan selama pelatihan dan pembelajaran penguatan. Salah satu anggota tim menjawab dengan satu kata yang dicetak tebal untuk penekanan: men-debug.
Baik dalam prapelatihan maupun pascapelatihan, ada satu hal yang terus menjadi prioritas utama: men-debug.
Komentar itu menyoroti tema yang muncul sepanjang sesi. Ketika ditanya tentang metodologi "tangga penskalaan" untuk mengevaluasi gagasan baru pada model dengan ukuran berbeda, zxytim menceritakan kegagalan yang pernah terjadi. Tim pernah terburu-buru memasukkan Kimi Linear, arsitektur perhatian linear eksperimental, ke generasi model sebelumnya. Arsitektur itu gagal pada salah satu skala di tangga penskalaan. Mereka mundur dan menjalani apa yang disebut anggota tim sebagai "proses men-debug yang berat". Setelah berbulan-bulan, akhirnya mereka berhasil membuatnya berfungsi.
"Secara statistik, sebagian besar gagasan yang berhasil pada skala kecil tidak akan lolos tangga penskalaan," lanjutnya. "Gagasan yang lolos biasanya sederhana, efektif, dan berlandaskan matematika. Riset pada dasarnya adalah mengelola kegagalan, bukan merayakan keberhasilan."
Bagi pemimpin teknis yang mengevaluasi vendor AI, pengakuan ini memberi pelajaran penting. Kemampuan terdepan tidak hanya muncul dari terobosan yang elegan. Kemampuan itu lahir dari upaya tanpa henti mengisolasi sumber masalah, serta budaya organisasi yang bersedia menghabiskan waktu berbulan-bulan untuk masalah yang mungkin tidak berhasil dipecahkan. Kenyataan ini sangat berbeda dengan narasi yang dipoles dan kerap disajikan saat peluncuran produk.
Peta Jalan Menuju K3 dan Pembelajaran Berkelanjutan
Sesi AMA itu juga menjadi petunjuk halus tentang generasi Kimi berikutnya. Para pengembang bertanya apakah Kimi K3 akan mengadopsi riset perhatian linear Moonshot, yang bertujuan menangani konteks panjang dengan lebih efisien daripada mekanisme perhatian tradisional. Anggota tim mengisyaratkan bahwa pendekatan linear merupakan opsi serius. "Kimi Linear kemungkinan akan menjadi bagian dari K3," tulis salah satu dari mereka. "Kami juga akan menyertakan optimalisasi lainnya."
Dalam percakapan lain, seorang anggota tim memperkirakan K3 "akan jauh lebih baik, bahkan mungkin 10 kali lipat, daripada K2.5." Tim juga menyoroti pembelajaran berkelanjutan sebagai bidang yang sedang mereka jajaki, yang mengisyaratkan masa depan saat agen dapat bekerja efektif dalam jangka waktu yang lebih lama. Ini merupakan kebutuhan penting bagi perusahaan jika agen diharapkan menangani proyek berkelanjutan, bukan sekadar tugas satu kali.
"Kami yakin pembelajaran berkelanjutan akan meningkatkan kemampuan agen dan memungkinkan mereka bekerja efektif dalam durasi yang jauh lebih lama," tulis salah satu anggota tim. Khusus untuk Agent Swarm, tim mengatakan berencana menyediakan kerangka orkestrasi bagi para pengembang setelah sistemnya lebih stabil. "Semoga segera," tambah mereka.
Yang Diungkap tentang AI Terbuka pada 2026
Sesi itu tidak menjawab semua pertanyaan. Beberapa pertanyaan teknis paling rumit tentang resep pelatihan multimodal, pertahanan terhadap manipulasi imbalan, dan tata kelola data ditunda hingga laporan teknis yang akan terbit. Hal itu bukan sesuatu yang luar biasa. Banyak laboratorium kini menganggap detail yang paling menentukan secara operasional sebagai informasi sensitif.
Namun, utas tersebut tetap menunjukkan pergeseran arena persaingan AI. Kesenjangan paling penting bukan antara China dan Amerika Serikat, atau antara model terbuka dan tertutup. Kesenjangan itu terletak antara apa yang dijanjikan model dan apa yang benar-benar dapat dihasilkan sistem. Orkestrasi kini menjadi produknya. Moonshot tidak hanya merilis model. Mereka juga menawarkan pandangan bahwa kemajuan berikutnya akan datang dari agen yang mampu membagi pekerjaan, menggunakan alat, dan mengembalikan hasil terstruktur dengan cepat.
Bobot terbuka berbenturan dengan realitas perangkat keras, karena para pengembang menuntut keterbukaan yang bisa dijalankan secara lokal, bukan keterbukaan yang membutuhkan pusat data. Medan persaingan juga bergeser dari kecerdasan mentah menuju keandalan, dari mengungguli tolok ukur dengan selisih dua poin menjadi disiplin dalam menggunakan alat, pengelolaan memori dalam alur kerja multi-agen, dan mempertahankan "selera" yang sulit diukur tetapi menentukan apakah pengguna memercayai keluaran model.
Moonshot hadir di Reddit setelah peluncuran besar dan menguatnya narasi geopolitik. Para pengembang yang menunggu di sana peduli pada pertanyaan yang lebih praktis: Kapan sesuatu yang terbuka benar-benar bisa digunakan? Dalam hal itu, sesi AMA tersebut bukan sekadar memasarkan Kimi K2.5. Sesi itu memberi gambaran tentang industri yang sedang beralih dari model yang lebih besar menuju komputasi yang lebih terstruktur, dari API tertutup menuju bobot terbuka yang tetap membutuhkan rekayasa serius untuk diterapkan, serta dari merayakan keberhasilan menuju pengelolaan kegagalan.
Sekilas
- Moonshot AI merilis Kimi K2.5, model sumber terbuka berukuran 595 GB, lalu mengadakan sesi AMA di Reddit pada r/LocalLLaMA untuk menjawab pertanyaan tentang kegunaan praktisnya
- Para pengembang meminta model yang lebih kecil (8B-70B parameter) untuk perangkat keras lokal, tetapi Moonshot menyebut 200B-300B parameter sebagai ukuran minimum untuk kegunaan luas
- Tim mengakui hukum penskalaan mulai mencapai titik jenuh akibat terbatasnya data pelatihan berkualitas tinggi, lalu beralih ke "penskalaan saat inferensi" melalui Agent Swarm yang mengoordinasikan 100 sub-agen
- Agent Swarm menggunakan memori kerja terpisah untuk tiap sub-agen guna menghindari pembusukan konteks, sementara orkestrator mengelola anggaran token dan pembagian tugas
- Komputasi untuk pembelajaran penguatan akan meningkat, mengalihkan fokus dari pencocokan pola Sistem 1 ke penalaran Sistem 2 dan pelatihan perilaku agen
- Moonshot menjelaskan pergeseran identitas (model menyebut dirinya "Claude") sebagai akibat dari peningkatan porsi data pemrograman yang kerap menyebut Claude, bukan distilasi
- Kepribadian dan "jiwa" masih sulit diukur dan dipertahankan di berbagai versi, dengan rencana membuat profil selera khusus pengguna
- Kimi K3 diperkirakan akan mencakup arsitektur perhatian linear dan kemampuan pembelajaran berkelanjutan untuk tugas agen jangka panjang






