Peneliti MIT Sebut GPT-6 Astra Dongkrak Skor Matematika Qwen dengan Mengedit Bobotnya Secara Langsung

Perbaikan numerik kecil menghasilkan lonjakan skor besar

Peneliti di Laboratorium Ilmu Komputer dan Kecerdasan Buatan MIT menyebut GPT-6 Astra dari OpenAI menaikkan skor matematika model Qwen kecil dari 7,9% menjadi 48,1% hanya dengan mengubah 131.072 dari sekitar 800 juta parameter numeriknya. Intervensi itu menyasar kegagalan spesifik: model berulang kali menghasilkan teks sampai kehabisan ruang untuk menjawab.

Rikiya Takehi, Jayden Teoh, Alex Zhang, dan Omar Khattab menguraikan eksperimen tersebut dalam tulisan riset bertajuk Sparks of Weight-Space Programming pada 2 November, yang kemudian diberitakan pada 3 November 2026. Pendekatan mereka meminta model bahasa untuk memeriksa, menafsirkan, dan langsung menulis ulang bobot jaringan saraf lain, yakni angka-angka yang menentukan cara jaringan memproses informasi.

Hasil terkuat melibatkan Qwen3.5-0.8B. Akurasinya pada MATH-500 naik 40,2 poin persentase, atau sekitar enam kali skor awal, setelah Astra mengubah kira-kira 0,016% bobotnya. Akurasi pada soal matematika GSM8K meningkat dari 13,8% menjadi 67,1%, sementara skor kepatuhan instruksi IFEval naik dari 21,0% menjadi 62,3%, hampir tiga kali hasil awal.

Eksperimen tersebut tidak terbatas pada matematika. Astra mengidentifikasi tujuan jaringan-jaringan kecil, memperbaiki pengendali mobil simulasi, serta menulis jaringan untuk bermain gim langsung dari aturan dan kode sumber. Pengujian lain mengungkap keterbatasannya: Astra kesulitan mendeteksi kecenderungan berlebihan untuk menyetujui pengguna hanya dari bobot, dan penyuntingannya hanya sedikit meningkatkan kemampuan matematika model bahasa lain.

Bagi pengembang, peluang terdekatnya adalah bentuk baru perbaikan model. Alih-alih mengajari jaringan melalui putaran pelatihan konvensional lainnya, asisten AI dapat menyelidiki kegagalan dan mengubah mekanisme numerik yang menyebabkannya. Hasil pada Qwen juga menunjukkan bahwa sifat kegagalan sama pentingnya dengan besarnya kenaikan skor.

Apa sebenarnya arti memprogram bobot?

Jaringan saraf mengubah masukan menjadi keluaran melalui serangkaian lapisan perhitungan. Bobotnya mengatur seberapa kuat sinyal diteruskan antarkomponen. Pelatihan biasanya berulang kali menyesuaikan angka-angka tersebut dengan menggunakan contoh dan ukuran kesalahan matematis untuk menentukan perubahan yang berguna.

Penurunan gradien adalah cara umum untuk menghitung penyesuaian tersebut. Metode ini memperkirakan arah perubahan bobot yang dapat mengurangi kesalahan. Dalam eksperimen ini, Astra justru menalar tentang jaringan sasaran dan menuliskan sendiri perubahannya, tanpa putaran pelatihan yang menghitung penyuntingan tersebut.

Takehi, mahasiswa doktoral di MIT CSAIL, menjelaskan alur kerja yang diusulkan dalam sebuah pernyataan di media sosial:

Alih-alih menjalani pelatihan, model dapat memperlakukan bobot mentah seperti kode yang dapat dibaca dan disunting: mendiagnosis kegagalan lalu memperbaikinya secara langsung.

Perbandingan dengan perbaikan perangkat lunak cukup tepat. Programmer yang menyelidiki aplikasi rusak mungkin menemukan fungsi yang bermasalah lalu menulis ulangnya. Dalam kasus ini, Astra mencari pola pada struktur numerik yang berkaitan dengan perilaku yang tidak diinginkan. Bobot jaringan saraf lebih sulit ditafsirkan daripada perangkat lunak biasa karena umumnya tidak memiliki nama yang mudah dipahami manusia untuk menjelaskan fungsinya.

Eksperimen tersebut menggunakan beberapa tingkat bantuan. Pada sebagian pengujian, Astra hanya diberi bobot dan deskripsi arsitektur. Pada pengujian lain, Astra mendapat lingkungan Python, contoh, atau izin untuk menjalankan model sasaran. Dalam kasus Qwen, meski tanpa pelatihan konvensional, prosesnya tetap melibatkan komputasi yang cukup besar, soal latihan, dan pengujian.

Bagaimana Astra menghentikan Qwen mengulang-ulang jawabannya

Perilaku awal Qwen memberikan masalah yang sangat jelas untuk diselidiki Astra. Dalam kelompok awal yang terdiri atas 96 soal, 85 respons mencapai batas panjang keluaran maksimum, yaitu 32.768 token. Token adalah unit teks yang dibaca dan dihasilkan model bahasa, sering kali berupa kata atau bagian kata. Sekitar 95% respons yang terpotong berakhir dengan pengulangan.

Evaluasi MATH-500 yang lebih luas menunjukkan masalah serupa: 93,0% respons awal mencapai batas token. Astra menelusuri perilaku berulang tersebut ke arah numerik yang terkait dengan keluaran komponen feedforward di lapisan 15 dan 19. Komponen ini, yang sering disebut perceptron multilapis atau MLP, mengubah informasi di dalam setiap lapisan.

Arah numerik adalah pola yang tersebar di banyak nilai, bukan satu sakelar. Astra mengurangi arah yang terkait dengan pengulangan dari 64 kolom keluaran di masing-masing dari dua lapisan tersebut. Perubahan itu menyentuh 131.072 bobot dan menurunkan porsi respons MATH-500 yang mencapai batas token menjadi 33,1%.

Pola jawaban yang berhasil diperbaiki membantu menjelaskan peningkatannya. Dari 1.152 soal yang disisihkan, 579 jawaban berubah dari salah menjadi benar, sementara lima berubah dari benar menjadi salah. Dari 579 peningkatan tersebut, 576 awalnya terpotong karena mencapai batas keluaran. Jadi, sebagian besar peningkatan terjadi karena model yang telah disunting mampu menuntaskan jawaban yang sebelumnya terhenti akibat pengulangan.

Sekitar sepertiga respons MATH-500 masih menghabiskan batas keluaran setelah perbaikan. Jaringan yang telah disunting jauh lebih berguna dalam kondisi pengujian, tetapi pengulangan tetap menjadi masalah besar.

Menemukan perbaikan membutuhkan penyelidikan berjam-jam

Upaya Astra yang paling berhasil pada Qwen menggunakan jatah 50 permintaan evaluasi, dengan setiap permintaan berpotensi mencakup ratusan contoh. Penyelidikan itu melibatkan 158 giliran percakapan, 80 eksekusi Python, dan waktu 20,3 jam, termasuk 4,7 jam menunggu selama gangguan layanan.

Lingkungan kerja tersebut mencakup lebih dari 14.000 soal latihan dari set pelatihan GSM8K dan MATH, akses ke bobot Qwen, serta lingkungan uji Python yang berjalan di CPU. Lingkungan uji itu mengizinkan hingga 300 eksekusi kode. Percobaan lain menggunakan jatah 10 atau 25 permintaan evaluasi.

Angka akurasi yang dilaporkan juga bergantung pada pengaturan generasi tertentu. Evaluasi menggunakan mode penalaran, batas keluaran 32.768 token, dan suhu 0,6. Suhu mengatur seberapa besar unsur acak dalam pemilihan token berikutnya; kartu model merekomendasikan suhu 1,0 untuk tugas teks dalam mode penalaran. Perbedaan ini penting saat mereproduksi perilaku awal dan membandingkan hasil.

Urutan praktisnya adalah:

• Peneliti memberi Astra model sasaran, soal latihan, dan alat untuk memeriksa bobot serta menguji perilaku.
• Astra menyelidiki keluaran berulang dan menyusun penyuntingan terarah pada lapisan 15 dan 19.
• Evaluasi mengukur peningkatan matematika dan kepatuhan instruksi, sekaligus mencatat berkurangnya respons yang mencapai batas keluaran.
• Tim menguraikan penelitian itu pada 2 November dan menyatakan sedang mengembangkan tolok ukur serta kerangka pengujian.

Penyuntingan akhirnya kecil, tetapi proses untuk menemukannya jauh lebih besar. Apakah pendekatan ini menghemat waktu atau sumber daya komputasi dibandingkan penyempurnaan model konvensional masih menjadi pertanyaan praktis yang belum terjawab.

Membaca gim, bentuk, dan bahasa dari angka

Pengujian pemeriksaan Astra dimulai dengan empat jaringan untuk bermain gim yang dilatih menggunakan optimisasi kebijakan proksimal, atau PPO, metode pembelajaran penguatan yang meningkatkan perilaku melalui imbalan. Jaringan-jaringan itu memiliki struktur, masukan, dan kemungkinan tindakan yang sama. Tanpa daftar calon gim, Astra mengidentifikasinya sebagai Breakout, Pong, Pac-Man, dan Freeway.

Para peneliti mengatakan Astra memeriksa pola di lapisan pertama dan perbedaan cara lapisan keluaran memilih tindakan. Dalam contoh identifikasi Breakout, Astra memberi tingkat keyakinan 99% pada jawabannya. Tingkat keyakinan itu merupakan penilaian Astra sendiri atas identifikasi tersebut.

Tiga model difusi kecil memberikan pengujian lain. Masing-masing telah dilatih untuk menghasilkan lingkaran, segitiga, atau persegi. Tanpa menjalankannya, Astra mengidentifikasi bentuk-bentuk tersebut dengan menemukan garis luar pada bobot lapisan keluaran. Gambar yang dibuatnya kosong di bagian dalam, meskipun model menghasilkan bentuk utuh. Detail yang tidak biasa ini menghubungkan interpretasinya dengan struktur numerik yang diperiksa.

Identifikasi bahasa diuji menggunakan tiga model yang masing-masing memiliki 7,2 juta parameter dan dilatih untuk memprediksi karakter berikutnya dalam kode Python, bahasa Jepang berhuruf Latin, atau bahasa Inggris. Astra hanya menerima lapisan tengah dan berhasil mengidentifikasi bahasa pelatihan dalam kedua percobaan.

Astra juga menemukan kepala penyalin pada model-model itu, yakni komponen perhatian yang membantu mengulang teks yang sebelumnya ditemui. Model Python memiliki lebih banyak kepala semacam ini, sejalan dengan kode yang berulang kali menggunakan nama variabel dan fungsi yang sama. Model bahasa Jepang berhuruf Latin memiliki lebih sedikit arah yang dituliskan oleh modul terakhirnya, sesuai dengan kumpulan karakter yang umum digunakan yang lebih kecil.

Memperbaiki mobil dan merancang pemain gim

Sebuah mobil simulasi di lingkungan Kinetix memiliki kebiasaan yang tidak membantu: mobil itu menabrak tanjakan lalu tersangkut. Mundur terlebih dahulu akan memberinya ruang yang cukup untuk melaju ke atas. Dengan bobot pengendali, deskripsi adegan, dan satu rekaman kegagalan, Astra menghasilkan perbaikan dalam satu respons tanpa alat bantu.

Perbaikan itu mengubah 3,5% bobot dan berhasil dalam seluruh 1.024 pengujian. Astra menambahkan jalur kecil melalui jaringan untuk melacak posisi dan kecepatan, lalu mengembalikan kendali ke jaringan asli setelah mobil melewati penanda.

Untuk gim MinAtar Breakout, Seaquest, dan Asterix, Astra menghadapi tugas berbeda: menulis jaringan kebijakan dari awal. Jaringan kebijakan mengubah keadaan gim menjadi tindakan. Astra menerima aturan, kode sumber, dan arsitektur yang dibutuhkan, tetapi tidak mendapat contoh pelatihan, perhitungan gradien, alat, atau kesempatan bermain sebelum evaluasi.

Jaringannya mengalahkan model dasar PPO yang dilatih selama 100 juta langkah di ketiga gim. Breakout menunjukkan selisih angka terbesar: skor Astra mencapai 517,4, dibandingkan 15,8 untuk model dasar yang dilatih selama 100 juta langkah dan 25,3 untuk model yang dilatih selama 500 juta langkah. Perbandingan terakhir setara dengan keunggulan sekitar 20 kali lipat.

Keunggulan itu berbeda-beda menurut gim. Dibandingkan model PPO yang dilatih selama 500 juta langkah, Astra hampir menyamai hasil di Asterix dan mencapai sekitar 60% skor Seaquest. Rancangan Breakout-nya menerjemahkan strategi eksplisit menjadi bobot: memperkirakan tempat bola akan mendarat, lalu menggerakkan pemukul ke posisi tersebut.

Jaringan Go yang lebih besar membutuhkan alur kerja berbeda

Eksperimen Go menggunakan jaringan dengan sekitar 1,5 juta parameter, terlalu besar untuk dimasukkan langsung ke jendela konteks Astra, yakni jumlah informasi yang dapat ditanganinya sekaligus. Sebagai gantinya, peneliti menyediakan lingkungan uji Python untuk memeriksa dan menyunting bobot.

Arsitekturnya memiliki 243 masukan, enam lapisan tersembunyi dengan masing-masing 512 unit, dan 82 keluaran. Astra menyusunnya seperti program Go ringkas: lapisan awal merepresentasikan batu dan kebebasan, yakni titik kosong di sekitar yang menjaga kelompok batu tetap hidup. Lapisan tengah meneruskan informasi melalui kelompok-kelompok yang terhubung untuk mengidentifikasi ancaman.

Lapisan terakhir memberi nilai pada langkah untuk menangkap batu lawan, menyelamatkan kelompok yang terancam, melindungi mata, dan menghindari atari, kondisi ketika sebuah kelompok hanya memiliki satu kebebasan tersisa. Strategi ini disusun melalui bobot numerik, bukan dipelajari melalui permainan berulang.

Tanpa evaluasi performa apa pun, jaringan Astra memenangkan lebih dari separuh permainannya melawan dua jaringan PPO yang lebih kecil. Dengan jatah 50 evaluasi, jaringan itu mengungguli jaringan berukuran sama yang dilatih pada 20 juta permainan. Umpan balik memungkinkan Astra memeriksa kekalahan dan mempertahankan perubahan yang meningkatkan permainan.

Dua pengujian sulit mengungkap batas kemampuan

Gemma 3 270M memberikan perbandingan yang berguna dengan Qwen. Model ini jarang terjebak dalam pengulangan. Astra justru menemukan kesalahan penalaran biasa, termasuk kekeliruan aritmetika dan langkah aljabar yang tidak valid. Penyuntingan kecil, termasuk menggandakan kekuatan neuron yang responsif terhadap angka, meningkatkan akurasi MATH-500 paling tinggi hanya sekitar satu poin persentase.

Perbandingan ini menunjukkan perbedaan praktis. Menghilangkan perilaku berulang dapat memungkinkan model menggunakan kemampuan yang sudah dimilikinya. Memperbaiki beragam kesalahan matematika membutuhkan solusi yang lebih luas daripada menghapus satu pola numerik yang sama.

Sikap sycophancy, yakni kecenderungan menyetujui pengguna meskipun pengguna keliru, terbukti sulit diperiksa secara langsung. Peneliti melakukan penyempurnaan pada pasangan model Gemma 3 270M menggunakan data pertanyaan dan jawaban yang sama. Satu model dilatih untuk menjawab dengan benar; model lainnya dilatih untuk menyetujui saran pengguna.

Astra tidak dapat membedakan keduanya secara andal hanya dari bobotnya. Saat diizinkan memeriksa pola perhatian pada teks yang ditulisnya sendiri, tanpa melihat jawaban model, Astra berhasil mengidentifikasi model yang bersikap sycophantic pada ketiga pasangan. Model-model tersebut lebih banyak mencurahkan perhatian lapisan tengah pada konten yang disarankan pengguna.

Pengukuran perhatian menunjukkan bagian yang menjadi fokus pemrosesan model saat menangani teks. Manfaatnya dalam kasus ini menjadikan pemeriksaan berbasis eksekusi sebagai bagian penting dari diagnosis yang berhasil. Mendeteksi kecenderungan menyetujui secara berlebihan adalah tugasnya; mengubah perilaku tersebut merupakan usulan penerapan yang terpisah.

Apa yang ingin diuji peneliti selanjutnya

Tim MIT melihat kemungkinan penggunaan dalam pemeriksaan model, perbaikan terarah, perubahan kemampuan tanpa data pelatihan konvensional, serta pemindahan komponen berguna di antara arsitektur yang berbeda. Penyuntingan model secara langsung telah lama diteliti, termasuk ROME yang dipresentasikan di NeurIPS pada 2022 dan MEMIT yang dipresentasikan di ICLR pada 2023. Penelitian ini mengeksplorasi model bahasa serbaguna yang menalar sendiri proses penyuntingannya.

Peningkatan diri rekursif merupakan arah lain yang diusulkan: sistem AI dapat membantu meningkatkan model yang kemudian menjadi lebih baik dalam membuat peningkatan lanjutan. Eksperimen ini menggunakan tugas, alat, dan jatah evaluasi yang ditetapkan manusia, dengan Astra bekerja pada jaringan lain. Siklus berulang yang andal masih membutuhkan eksperimen lebih lanjut.

Tim merilis catatan eksperimen dan artefak penyuntingan. Repositori publik tersebut disebut berisi catatan 1.125 pemanggilan model. Langkah berikutnya yang dinyatakan tim adalah mengembangkan tolok ukur dan kerangka eksperimen untuk evaluasi yang konsisten. Belum ada tanggal rilis yang diumumkan.

Bagi orang-orang yang membangun aplikasi AI, temuan paling konkret lebih sempit dan langsung dipahami: perbaikan numerik kecil dapat menghasilkan peningkatan besar ketika gangguan berulang mencegah model menuntaskan pekerjaan yang berguna. Hasil yang kontras pada Gemma dan sycophancy menunjukkan mengapa setiap usulan perbaikan memerlukan diagnosis dan pengujian tersendiri.

Poin-Poin Utama

• Astra mengubah 131.072 bobot Qwen, sekitar 0,016% dari model, sehingga akurasi MATH-500 naik dari 7,9% menjadi 48,1%.
• Akurasi GSM8K naik dari 13,8% menjadi 67,1%, dan IFEval naik dari 21,0% menjadi 62,3%.
• Perbaikan utama mengurangi keluaran berulang; respons MATH-500 yang mencapai batas token turun dari 93,0% menjadi 33,1%.
• Upaya Qwen yang paling berhasil menggunakan 50 permintaan evaluasi dan memakan waktu 20,3 jam, termasuk waktu akibat gangguan layanan.
• Astra juga memperbaiki pengendali mobil simulasi dan menulis jaringan untuk gim sederhana serta Go.
• Gemma hanya menunjukkan sedikit peningkatan matematika, sementara identifikasi sycophancy membutuhkan pengukuran perhatian.
• Para peneliti sedang mengembangkan tolok ukur dan kerangka pengujian untuk pemrograman ruang bobot.