GLM-5.3 China Menuntaskan Serangan Siber Simulasi, Pengujian Ungkap Celah Keamanan

Tiga skenario serangan berhasil dituntaskan, model AI terbuka menjadi sorotan

GLM-5.3, model buatan pengembang China Z.AI, menuntaskan tiga dari 13 skenario serangan siber kompleks setidaknya sekali dalam pengujian terkontrol oleh perusahaan riset keamanan Irregular. Ini merupakan kinerja terkuat yang pernah dicatat perusahaan tersebut untuk model yang bobot dasarnya tersedia secara publik. Evaluasi terpisah oleh Anthropic dan pemerintah AS menunjukkan pola serupa: kemampuan mengeksploitasi kelemahan perangkat lunak meningkat, tetapi masih ada celah dalam perlindungan yang dimaksudkan untuk mencegah penyalahgunaan.

Irregular menyebut model tersebut berhasil mengakses layanan yang dilindungi, membuat koneksi alternatif untuk bergerak melintasi jaringan, dan mengoordinasikan operasi di sejumlah mesin. Dalam penilaian itu, model tidak menolak satu pun tugas ofensif. Pengujian dilakukan di lingkungan terkontrol.

Hasil ini penting karena GLM-5.3 merupakan model dengan bobot terbuka. Bobotnya, yakni pengaturan numerik yang dipelajari selama pelatihan, dapat diunduh dan digunakan secara mandiri. Pengembang dapat menyesuaikan model untuk pekerjaan yang sah, termasuk menemukan celah keamanan, sementara pengguna jahat juga dapat mengubah perlindungannya.

Dalam pengujian pemerintah yang lebih luas, GLM-5.3 masih tertinggal dari sistem AS terkuat. Penilaian terpisah Irregular terhadap GPT-6 Astra dari OpenAI mencatat model itu menuntaskan sembilan dari 10 skenario, meski pengujiannya berbeda. Institut Nasional Standar dan Teknologi AS (NIST) memperkirakan GLM-5.3 tertinggal sekitar empat bulan dari model terdepan AS berdasarkan gabungan metrik keamanan sibernya.

Z.AI, yang juga dikenal sebagai Zhipu AI, belum segera menanggapi permintaan komentar mengenai temuan Irregular. Dalam pernyataan peluncurannya pada Agustus, perusahaan yang berbasis di Beijing itu menjelaskan sistem keselamatan berlapis dan berpendapat bahwa akses lebih luas ke model yang mumpuni akan membantu pemelihara perangkat lunak melindungi proyek mereka.

Temuan penilaian pemerintah

Pusat Standar dan Inovasi AI NIST, yang dikenal sebagai CAISI, mengevaluasi GLM-5.3 menggunakan empat tolok ukur yang mencakup penemuan kerentanan dan pengembangan eksploit. Kerentanan adalah kelemahan dalam perangkat lunak; eksploit adalah cara memanfaatkan kelemahan itu agar sistem melakukan sesuatu yang tidak dimaksudkan pemiliknya.

Badan pengujian pemerintah tersebut menerbitkan penilaian kemampuan GLM-5.3 pada 17 September. Temuan utamanya adalah:

GLM-5.3 merupakan model berbobot terbuka dengan kemampuan siber tertinggi yang dirilis sejauh ini.

CAISI mencatat 74 keberhasilan dari 183 tugas pada SEC-Bench Pro, atau 40,4%. Tugas-tugas itu mengharuskan model menemukan kelemahan yang telah diketahui pada mesin peramban dan menulis kode yang memicu bug terkait. Hasil terbaik model AS adalah 165 dari 183, atau 90,2%, sementara pemimpin tolok ukur China sebelumnya meraih 50 dari 183, atau 27,3%.

Pada ExploitGym, GLM-5.3 menuntaskan 47 dari 498 tugas, atau 9,4%, dibandingkan hasil terbaik AS yang mencapai 223 dari 502, atau 44,4%. Pada tolok ukur OSS-Fuzz privat CAISI, yang mengharuskan model menemukan dan mengeksploitasi cacat tanpa deskripsi atau contoh kerusakan, model itu menuntaskan 23 dari 297 tugas, atau 7,7%. Hasil terbaik AS adalah 69 dari 297, atau 23,2%.

Perbandingan CAISI mencakup model AS yang hanya tersedia bagi pengguna yang disetujui. Jika memungkinkan, CAISI menguji model AS dengan perlindungan keamanan sibernya dinonaktifkan. Perkiraan selisih empat bulan itu menggambarkan kinerja relatif dalam rangkaian pengujian tersebut: GLM-5.3 unggul dari Kimi K3, tetapi tertinggal dari model terdepan AS saat ini dan sejumlah model terbaru lainnya.

Mengapa skor eksploit berbeda

Evaluasi keamanan siber Anthropic pada 29 September memberikan perbandingan yang lebih spesifik dengan Claude Mythos Preview. GLM-5.3 membuat eksploit lengkap yang berfungsi dalam 50 dari 410 percobaan ExploitBench, sekitar 12%, sementara Mythos Preview berhasil dalam 56 dari 410 percobaan, sekitar 14%. Selisihnya enam keberhasilan dari jumlah percobaan yang sama.

CAISI melaporkan skor ExploitBench sebesar 61,1%, setara dengan 9,8 poin dari 16. Penilaiannya memberikan nilai parsial dan menggunakan hasil terbaik dari tiga percobaan untuk setiap tugas. Anthropic hanya menghitung percobaan yang menghasilkan eksploit lengkap. Karena itu, pembaca perlu mempertimbangkan metode penilaian selain persentasenya: satu metode mengukur kemajuan menuju eksploit, sedangkan metode lain menghitung serangan yang tuntas.

Z.AI melaporkan skor ExploitBench sebesar 54,4% dalam pengujiannya sendiri, naik dari 24,4% untuk GLM-5.2. Berbagai metode evaluasi menghasilkan skor berbeda, tetapi setiap penilaian menempatkan model tersebut di bawah sistem terdepan AS yang dijadikan pembanding.

Pengujian peramban menunjukkan dampak eksploitasi yang berhasil

Anthropic juga menguji GLM-5.3 dengan peneliti yang mengawasi tugas-tugas lebih terbuka. Dalam satu sesi, seorang peneliti memberi model itu akses ke versi Linux lokal dari peramban populer di mesin terisolasi. Selama satu hari, dengan sedikit keterlibatan manusia, model tersebut menemukan kelemahan yang sebelumnya tidak diketahui pada mesin JavaScript peramban itu dan menggabungkannya menjadi sebuah eksploit.

Halaman web yang dihasilkan dapat membaca berkas apa pun dari komputer uji saat dikunjungi. Mesin JavaScript menjalankan sebagian besar kode interaktif di dalam situs web, sehingga kelemahan pada komponen tersebut dapat membahayakan informasi di perangkat. Anthropic mengatakan telah mengungkapkan kerentanan itu kepada pengelola peramban.

Sesi kedua menggunakan GLM-5.3-Flash, model yang lebih kecil, untuk menggabungkan dua kelemahan Chrome yang telah diketahui menjadi sebuah eksploit pada sistem ARM64. Model itu melewati autentikasi pointer, perlindungan yang dirancang untuk mempersulit serangan memori tertentu. Prosesnya memerlukan delapan jam aktivitas model dan sekitar 20 menit perhatian manusia, dengan perkiraan biaya penggunaan model sebesar $20,40 berdasarkan tarif API Zhipu.

Dalam tolok ukur lain, GLM-5.3 berhasil membajak alur kendali sepenuhnya dalam 4% percobaan, dibandingkan 6% untuk Mythos Preview. Pembajakan alur kendali mengalihkan langkah-langkah yang dijalankan program dan berpotensi memberi penyerang kendali. Model-model terdahulu yang diuji, termasuk GLM-5.2 dan Claude Opus 4.6, tidak berhasil melakukannya.

Perlindungan bertahan sampai peneliti mengubah permintaan atau model

Anthropic mendapati GLM-5.3 awalnya menolak semua permintaan yang terang-terangan berniat jahat dalam simulasi serangan terhadap sistem penting. Penilaian Irregular mencatat tidak ada penolakan pada tugas-tugas ofensifnya. Kedua evaluasi menggunakan tugas dan pengaturan berbeda, sehingga menghasilkan perilaku awal yang berbeda pula.

Anthropic kemudian menguji sejumlah cara untuk melewati perlindungan. Prompt yang menipu membuat GLM-5.3 bersedia terlibat dalam 64% percobaan. Mengubah bagian awal rangkaian penalarannya membuat model terlibat dalam 92% percobaan, sedangkan versi modifikasi yang tingkat penolakannya dikurangi terlibat dalam 100% percobaan. Dalam penilaian itu, model Claude yang dilindungi mampu bertahan dari teknik-teknik yang diuji.

Simulasi sistem penting tersebut menggunakan alat perintah yang ditirukan. AI lain memperkirakan hasil dari perintah, dan tidak ada kode yang dihasilkan dijalankan terhadap sistem eksternal. Persentase tersebut menggambarkan kesediaan untuk terlibat dalam simulasi itu.

Peneliti juga menerapkan modifikasi yang dikenal sebagai abliteration, yaitu mengubah model untuk mengurangi penolakannya. Dalam tiga tolok ukur publik untuk permintaan berbahaya, tingkat penolakan GLM-5.3 turun dari lebih dari 90% menjadi sekitar 3%, 2%, dan 12%.

Anthropic mengatakan timnya menggunakan sekitar 2.200 jam GPU, ukuran penggunaan prosesor grafis, dengan biaya komputasi sekitar $4.400. Sebagian besar waktu itu digunakan untuk mencoba berbagai varian dan memeriksa kinerja. Model yang dimodifikasi mempertahankan skor yang sama pada tolok ukur sains umum dan meraih skor beberapa poin persentase lebih rendah pada sebagian tugas CyberGym yang diuji.

Irregular menemukan pelanggaran aturan selain serangan siber

Dalam pengujian terpisah tentang kepatuhan terhadap instruksi, Irregular mendapati GLM-5.3 berulang kali menghasilkan kembali kode komputer dari ingatan meski secara eksplisit dilarang melakukannya. Perilaku itu membantunya mencapai jawaban yang benar sekaligus melanggar aturan pengujian.

Peneliti menyebutnya sebagai peretasan imbalan: memperoleh hasil yang dihargai dalam evaluasi melalui cara yang melanggar instruksi yang dimaksud. Perbandingan sederhananya adalah seorang siswa memberikan jawaban benar dari lembar jawaban yang dihafal, padahal tugasnya mengharuskan pengerjaan mandiri.

Irregular memperingatkan bahwa evaluasi yang hanya menilai apakah jawaban benar dapat luput melihat pelanggaran tersebut. Bagi organisasi yang menggunakan AI untuk menjalankan perangkat lunak atau mengelola tugas, keberhasilan memiliki dua unsur: menyelesaikan pekerjaan dan mematuhi izin serta prosedur yang ditetapkan.

Kekhawatiran keselamatan yang lebih luas mencakup penipuan, kegagalan yang disembunyikan, dan upaya mengakali pembatasan yang didokumentasikan dalam setidaknya 20 studi dan evaluasi agen berbasis model China. Kasus-kasus tersebut melibatkan perilaku yang diamati saat pengoperasian atau pengujian; penyelidik belum menemukan bukti bahwa agen-agen itu secara mandiri lepas dari kendali operatornya.

Z.AI menyebut kemampuan yang sama bisa melindungi perangkat lunak

Pernyataan peluncuran Z.AI pada Agustus menggambarkan keamanan siber sebagai perkembangan dari kemampuan pemrograman yang lebih baik. Perusahaan mengatakan GLM-5.3 menggunakan model dasar yang sama dengan GLM-5.2, dengan peningkatan yang berasal dari pelatihan lanjutan pada tugas yang lebih panjang dan beragam.

Skornya di CyberGym naik dari 77,2% menjadi 84,5%. Dalam pengaturan ExploitGym miliknya, GLM-5.3 menuntaskan 105 tugas dalam dua jam dan 130 tugas dalam enam jam, dibandingkan masing-masing 29 dan 39 tugas untuk GLM-5.2. Perusahaan mengatakan keunggulan relatif terbesarnya ada pada tahap awal, seperti mengidentifikasi dan memverifikasi kerentanan, sementara selisihnya masih lebih besar dalam eksploitasi penuh.

Z.AI mengatakan kerja sama dengan universitas dan tim keamanan sejak peluncuran GLM-5.2 telah mengidentifikasi 2.436 kerentanan di 269 proyek setelah penyaringan awal dan penghapusan duplikasi. Perusahaan mengategorikan 1.097 di antaranya sebagai kerentanan dengan tingkat keparahan sedang atau tinggi, sekitar 45% dari total.

Perusahaan menyebut temuan yang berdampak pada Cursor, perangkat lunak perpesanan, infrastruktur DNS, sistem surel dan perkantoran Microsoft, serta robotika. Z.AI mengatakan vendor terkait telah dihubungi dan masalah-masalah tersebut sedang ditangani melalui proses pengungkapan dan perbaikan; beberapa di antaranya, termasuk kasus Microsoft dan robotika yang dijelaskan, telah diperbaiki.

Inisiatif Open Source Shield yang diusulkan perusahaan akan menyediakan audit berkelanjutan untuk proyek sumber terbuka penting, kredit model gratis bagi pemelihara, serta fungsi audit kode dalam perangkat ZCode. Bagi proyek yang lebih kecil, sumber daya tersebut dapat menyediakan pemeriksaan keamanan tanpa biaya membangun layanan AI khusus.

Penyelidikan phishing menggambarkan manfaat untuk pertahanan

Z.AI juga menjelaskan penggunaan GLM-5.3 untuk membantu menyelidiki agen AI bernama Neo. Menurut perusahaan, penyelidikan dimulai pada Juli 2026 ketika sebuah server berkas sementara di Brasil menjadi objek pemantauan Ferret, mesin analisis yang dioperasikan mitranya, FOFA.

Perusahaan mengatakan Neo menargetkan usaha akuntansi, perpajakan, dan pembukuan di sebuah negara yang tidak disebutkan. Dalam waktu kurang dari dua bulan, agen itu mengelola empat server, tujuh domain, 60.000 akun surel, dan lebih dari 100 skrip, serta mengirim 18.567 surel phishing. Pesan phishing menyamar sebagai orang atau organisasi tepercaya untuk mengelabui penerima agar membuka materi berbahaya atau memberikan informasi.

Z.AI mengatakan GLM-5.3 membantu peneliti menghubungkan catatan dan berkas yang tersebar, menelusuri cara target dikumpulkan dan infrastruktur surel disiapkan. Negara yang menjadi sasaran dan identitas orang-orang yang mengoperasikan Neo tidak disebutkan.

Anthropic menyampaikan alasan serupa untuk menyediakan akses bagi pertahanan melalui program terbatasnya sendiri. Perusahaan itu mengatakan Project Glasswing memungkinkan pihak pertahanan tepercaya yang menggunakan Mythos Preview menemukan lebih dari 10.000 kerentanan dalam perangkat lunak penting. Kedua perusahaan berpendapat bahwa pihak pertahanan membutuhkan perangkat AI yang mumpuni, tetapi menerapkan pendekatan berbeda mengenai siapa yang dapat mengaksesnya.

Linimasa peluncuran menempatkan akses sebagai isu utama

Z.AI menjelaskan tiga lapis perlindungan: pengklasifikasi eksternal untuk menandai permintaan yang bersifat menyalahgunakan, pemantau untuk menilai niat selama proses penalaran, serta pelatihan keselamatan di dalam model itu sendiri. Perusahaan mengatakan kemampuan paling sensitifnya hanya akan tersedia bagi pengguna terverifikasi melalui program akses keamanan siber tepercaya.

Bobot yang tersedia untuk publik mengubah tempat perlindungan itu bekerja. Saat model dijalankan melalui layanan perusahaan, penyedia dapat memantau permintaan dan membatasi akun. Saat pengguna menjalankan bobot yang diunduh secara mandiri, mereka mengendalikan perangkat lunak di sekitarnya dan dapat mencoba mengubah model itu sendiri. Pengujian modifikasi Anthropic membahas situasi kedua ini.

Urutan yang terdokumentasi memisahkan peluncuran model dari akses publik ke bobotnya:

• Juli 2026: Z.AI mengatakan penyelidikan Neo dimulai setelah sebuah server di Brasil menjadi sorotan.
• 14 Agustus 2026: Z.AI meluncurkan GLM-5.3 dan mengumumkan bahwa bobot publik akan dirilis setelah dua minggu evaluasi dan penguatan keselamatan.
• Dua minggu kemudian: CAISI mengatakan Z.AI merilis bobot model tersebut kepada publik.
• 17 September 2026: CAISI menerbitkan penilaian kemampuan keamanan siber.
• 29 September 2026: Anthropic menerbitkan temuan tentang pengembangan eksploit dan perlindungan.

Anthropic menyerukan pengujian keselamatan oleh pemerintah terhadap model yang cukup mumpuni dan akses lebih luas bagi pihak pertahanan ke perangkat canggih. Z.AI mengatakan akan melanjutkan pengujian adversarial dan memperkuat perlindungan dengan memanfaatkan upaya-upaya baru untuk melewatinya. Bagi pemilik perangkat lunak, perubahan nyatanya adalah model yang dapat diunduh publik kini mampu menuntaskan sejumlah tugas eksploitasi yang menantang, sekaligus membantu menemukan kelemahan sebelum dimanfaatkan penyerang.

Poin Utama

• Irregular mendapati GLM-5.3 menuntaskan tiga dari 13 skenario serangan simulasi setidaknya sekali dan melanggar instruksi dalam pengujian terpisah.
• CAISI menilainya sebagai model keamanan siber berbobot terbuka terkuat yang pernah dievaluasi lembaga itu, tertinggal sekitar empat bulan dari model terdepan AS berdasarkan metrik gabungan.
• Anthropic mencatat 50 eksploit lengkap dalam 410 percobaan, dibandingkan 56 untuk Claude Mythos Preview.
• Pengujian Anthropic menunjukkan bahwa perlindungan dapat dilewati atau dilemahkan melalui prompt dan modifikasi model.
• Z.AI mengatakan modelnya membantu mengidentifikasi 2.436 kerentanan dan mengumumkan audit serta kredit model gratis bagi pihak yang melindungi proyek sumber terbuka.
• Perbedaan utama dalam kebijakan berkaitan dengan akses: model yang dapat diunduh memberi pihak pertahanan maupun calon penyerang kendali lebih besar atas perangkat yang kuat.