Agen AI Membangun Kosakata Bersama Lewat Sejuta Interaksi, Tanpa Kamus Bersama

Sejuta interaksi mengubah kata-kata rekaan menjadi makna bersama

Sepuluh agen kecerdasan buatan, yang memulai tanpa kosakata, belajar mengenali objek satu sama lain dengan tingkat keberhasilan hingga 99,76% setelah satu juta interaksi dalam eksperimen yang dilakukan peneliti Vrije Universiteit Brussel (VUB) dan University of Namur di Belgia. Kata-kata dan maknanya berkembang melalui pertukaran berulang, bukan melalui kamus yang ditulis manusia.

Para peneliti menguji metode mereka pada 37 kumpulan data publik, mulai dari pengukuran kimiawi anggur dan data eksoplanet NASA hingga foto burung dan wajah manusia. Pada tujuh kumpulan data yang disorot, tingkat keberhasilan dalam interaksi pengujian berkisar antara 95,77% hingga 99,76%.

Pencapaian utamanya adalah tercapainya kesepakatan tentang cara merujuk pada sesuatu. Setiap agen menyimpan asosiasinya sendiri antara kata-kata rekaan dan properti yang diamati. Melalui umpan balik, asosiasi masing-masing agen menjadi cukup selaras sehingga kelompok itu dapat berkomunikasi, sekalipun para anggotanya memersepsikan lingkungan secara berbeda.

Makalah penelitian berjudul Emergent Communication in Continuous Worlds: Self-Organisation of Conceptually Grounded Vocabularies at Scale memaparkan eksperimen dalam simulasi komputer. Para agen bekerja dengan representasi numerik objek dan gambar. Robot, kendaraan otonom, dan sensor industri merupakan kemungkinan penerapan pendekatan ini yang diidentifikasi para peneliti.

Bagaimana sebuah kata menjadi berguna

Setiap pertukaran melibatkan dua agen. Satu bertindak sebagai pembicara dan yang lain sebagai pendengar, dengan peran yang ditentukan kembali seiring berlanjutnya interaksi. Keduanya menghadapi sebuah adegan yang berisi beberapa entitas, tetapi hanya pembicara yang diberi tahu entitas mana yang menjadi sasaran.

Pembicara harus memilih kata yang membantu pendengar menentukan sasaran tersebut. Jika kosakatanya tidak memiliki kata yang sesuai, pembicara menciptakan kata baru. Makalah ini menggunakan rangkaian sembarang yang terdiri atas tiga suku kata, seperti "demoxu", sehingga label itu sendiri tidak memiliki makna bawaan.

Pendengar mencocokkan kata tersebut dengan konsep yang tersimpan dan memilih sebuah entitas. Kedua agen menerima umpan balik tentang benar atau tidaknya pilihan itu. Setelah terjadi kesalahan, sasaran diperlihatkan kepada pendengar, sehingga ia memperoleh informasi untuk memperbarui pemahamannya.

Para peneliti menyediakan prosedur untuk menciptakan kata, merepresentasikan konsep, dan belajar dari hasil. Kosakata tertentu beserta kategori yang dilekatkan padanya muncul selama interaksi. Pertukaran yang berhasil memperkuat asosiasi yang berguna, sementara pengalaman selanjutnya menyesuaikan konsep yang dilekatkan pada kata-kata.

Katrien Beuls, profesor di University of Namur sekaligus salah satu penulis makalah, menjelaskan bagaimana pertukaran lokal menghasilkan kesepakatan di antara populasi dalam pengumuman universitas:

Yang menarik adalah tidak ada komputer pusat yang memaksakan aturan. Setiap kali, kami membiarkan dua agen berkomunikasi satu sama lain di tingkat lokal. Hanya melalui interaksi dan pembaruan individual inilah sebuah konvensi global muncul secara spontan di seluruh populasi.

Makna yang disimpan para agen

Setiap entitas diterima agen dalam bentuk vektor fitur, yakni daftar nilai yang menggambarkan propertinya. Sebagai contoh, sampel anggur dapat direpresentasikan dengan pengukuran kimiawi. Gambar dapat direpresentasikan dengan fitur numerik yang diekstrak oleh sistem penglihatan.

Sebuah kata ditautkan ke prototipe konseptual: deskripsi matematis tentang jenis pengamatan yang cocok dengannya. Prototipe itu mencatat nilai-nilai yang umum, seberapa besar variasi nilai tersebut, dan fitur mana yang paling penting. Dengan demikian, agen dapat menilai seberapa cocok entitas yang baru ditemui dengan kata yang sudah dikenal.

Konteks juga penting. Pembicara mencari kata yang konsepnya lebih cocok dengan sasaran dibandingkan dengan entitas lain dalam adegan. Karena itu, kata yang berguna membantu membedakan sesuatu dari pilihan lain di sekitarnya, alih-alih sekadar melekatkan label tetap pada setiap objek.

Para agen menyimpan representasi ini secara terpisah. Mereka tidak dapat mengakses pengaturan internal satu sama lain atau basis pengetahuan pusat. Komunikasi bersama berkembang karena kata-kata mereka mengarahkan pada pilihan yang selaras, sementara representasi masing-masing tetap terikat pada pengamatan mereka sendiri.

Untuk kumpulan data gambar, para peneliti menggunakan fitur berdimensi 384 dari DINOv2, sebuah enkoder penglihatan yang sudah ada. Enkoder penglihatan mengubah gambar menjadi deskripsi numerik yang dapat diproses perangkat lunak lain. Pembelajaran kosakata kemudian dilakukan berdasarkan deskripsi tersebut.

Seberapa baik kosakata bersama itu bekerja?

Dalam eksperimen standar, populasi yang terdiri atas 10 agen dilatih melalui satu juta interaksi. Para peneliti kemudian mengevaluasi komunikasi dalam 100.000 interaksi pengujian, termasuk entitas yang tidak disertakan selama pelatihan, dan merata-ratakan hasil dari 10 uji coba independen.

Tujuh hasil yang disorot menunjukkan kekuatan metode ini sekaligus variasi antar tugas:

• CLEVR, kumpulan data yang mencakup atribut objek visual: keberhasilan komunikasi 99,76%.
• Data analisis anggur: 99,76%.
• Data eksoplanet: 99,67%.
• Data jamur: 98,10%.
• Data gambar MS COCO: 95,77%.
• Gambar wajah CelebA: 96,66%.
• Gambar burung: 95,88%.

Persentase ini mengukur seberapa sering pendengar memilih entitas yang dimaksud. Dalam tugas anggur dan CLEVR, angka 99,76% setara dengan sekitar 24 pertukaran yang tidak berhasil dari setiap 10.000 interaksi pengujian. Untuk MS COCO, angka 95,77% setara dengan sekitar 423 dari setiap 10.000 interaksi.

Selisih antara hasil tersebut adalah 3,99 poin persentase. Komunikasi tetap sangat berhasil pada tugas-tugas yang disorot, tetapi kumpulan data gambar alami menghasilkan lebih banyak kesalahan daripada tugas anggur dan eksoplanet.

Tim tersebut juga mengukur ukuran kosakata dan kesepakatan konvensi, yang menunjukkan seberapa konsisten para agen menggunakan kata. Ukuran-ukuran ini menilai bagian proses yang berbeda: populasi membutuhkan seperangkat label yang dapat digunakan serta kesepakatan yang memadai tentang cara menggunakannya agar dapat mengenali sasaran dengan andal.

Sensor yang berbeda tetap dapat mendukung kesepakatan

Mesin jarang mengamati dunia dengan cara yang persis sama. Sensor dapat memiliki pengaturan kalibrasi yang berbeda, pembacaan dapat mengandung derau, dan satu perangkat mungkin menangkap properti yang tidak dapat dideteksi perangkat lain. Studi ini menguji variasi kondisi tersebut.

Paul Van Eecke, profesor kecerdasan buatan di VUB sekaligus salah satu penulis makalah, menjelaskan motivasinya dengan contoh orang-orang yang mengenali mobil merah. Orang dapat memahami deskripsi yang sama meskipun mata mereka menangkap nilai warna yang sedikit berbeda. Kata yang dipahami bersama berada di atas pembacaan individual tersebut.

Dalam eksperimen, gagasan itu diterapkan pada agen buatan dengan mengubah pengamatan mereka. Para peneliti menyertakan pergeseran numerik yang menyerupai perbedaan kalibrasi, derau pada nilai yang diamati, serta populasi yang anggotanya memiliki fitur berbeda-beda.

Dalam eksperimen CLEVR dengan derau tinggi, keberhasilan komunikasi mencapai 87,67%. Pada kondisi dengan perbedaan yang lebih besar dalam ketersediaan sensor, keberhasilan mencapai 83,47%. Dalam kondisi ini, metode tersebut tetap mempertahankan kemampuan koordinasi yang cukup besar, meski akurasinya lebih rendah dibandingkan eksperimen CLEVR standar.

Makalah ini menyebut populasi dengan struktur perseptual berbeda sebagai heteromorfik. Sederhananya, para anggotanya menerima jenis atau jumlah informasi yang berbeda. Tugas mereka adalah mengembangkan rujukan yang selaras meski terdapat perbedaan tersebut, dengan menggunakan pengamatan yang dapat diakses masing-masing anggota.

Kosakata yang berubah saat masukan menghilang

Para peneliti juga menguji hilangnya informasi secara mendadak selama pembelajaran. Dalam salah satu eksperimen, separuh masukan yang mewakili pembacaan sensor dihapus di tengah proses. Keberhasilan komunikasi setelah perubahan itu mencapai 93,82%.

Interaksi berkelanjutan memberi para agen kesempatan untuk memperbarui konsep mereka ketika kondisi berubah. Kata yang dikaitkan dengan beberapa fitur dapat menjadi berguna dengan cara berbeda ketika sebagian fitur itu menghilang dan pengamatan yang tersisa menjadi lebih penting.

Makalah ini juga melaporkan adaptasi terhadap perubahan lingkungan. Hal ini menjadikan pembelajaran berkelanjutan sebagai bagian utama pendekatan tersebut: populasi membangun konvensi melalui penggunaan dan terus menyesuaikannya seiring perubahan pengamatan.

Bagi sistem mesin di masa depan, kemampuan itu dapat menjadi penting ketika peralatan mengalami penurunan kinerja atau kondisi operasional bergeser. Temuan eksperimen saat ini berkenaan dengan kemampuan agen menyesuaikan kosakata dalam tugas simulasi.

Kelompok yang lebih besar membutuhkan lebih banyak interaksi

Studi ini meneliti populasi yang terdiri atas 2, 10, 25, 50, dan 100 agen. Memperbesar populasi mengubah seberapa luas penyebaran setiap kata yang berguna, karena pertukaran tetap berlangsung antara pasangan individu.

Dalam eksperimen CLEVR yang melibatkan 100 agen, keberhasilan komunikasi mencapai 92,69% setelah satu juta interaksi. Memperpanjang pelatihan hingga 10 juta interaksi meningkatkan keberhasilan menjadi 99,16%, atau naik 6,47 poin persentase.

Anggaran interaksi membantu menjelaskan skala tantangan tersebut. Jika partisipasi tersebar merata, satu juta pertukaran yang masing-masing melibatkan dua agen memberikan rata-rata 200.000 partisipasi per agen dalam kelompok beranggotakan 10 orang. Dalam kelompok beranggotakan 100 orang, jumlah pertukaran yang sama memberikan rata-rata 20.000 partisipasi per agen.

Sepuluh juta pertukaran mengembalikan rata-rata tersebut menjadi 200.000 partisipasi untuk setiap anggota populasi yang berjumlah 100 agen. Pertemuan individu dipilih secara acak, tetapi perbandingan ini menunjukkan mengapa kelompok yang lebih besar mungkin membutuhkan anggaran pembelajaran total yang jauh lebih besar untuk menyebarkan konvensinya.

Manusia dapat memeriksa rujukan sebuah kata

Para peneliti menyebut keterjelasan sebagai salah satu keunggulan desain mereka. Sebuah kata merujuk pada prototipe yang nilai dan bobot fiturnya dapat diperiksa. Peneliti dapat menelusuri pengamatan mana yang membantu membentuk suatu konsep serta bagaimana representasinya berubah melalui penggunaan.

Untuk kumpulan data dengan pengukuran kimiawi yang memiliki nama, pemeriksaan dapat menghubungkan sebuah kata dengan rentang pengukuran tertentu. Untuk data gambar, konsep terkait dengan fitur yang dihasilkan enkoder penglihatan, sehingga penjelasan maknanya juga melibatkan pemahaman atas representasi numerik gambar tersebut.

Jérôme Botoko Ekila, peneliti doktoral di Laboratorium Kecerdasan Buatan VUB sekaligus salah satu penulis makalah, menjelaskan tujuan membiarkan agen membangun konsep berdasarkan persepsi mereka sendiri:

Mereka membangun konsep yang efektif dan benar-benar sesuai dengan apa yang mereka persepsikan melalui sensor, sekalipun datanya tidak dapat dipahami manusia.

Pengawasan manusia akan melibatkan pemeriksaan asosiasi tersebut seiring perkembangannya. Salah satu pemeriksaan yang berguna adalah memastikan apakah dua agen yang menggunakan kata yang sama tetap memilih entitas yang dimaksud setelah masukan atau lingkungan mereka berubah. Mekanisme umpan balik dalam studi ini menjadikan hubungan tersebut inti dari pembelajaran.

Publikasi, kolaborasi, dan kemungkinan penerapan

Penelitian ini melibatkan Jérôme Botoko Ekila, Lara Verheyen, Jens Nevens, dan Paul Van Eecke dari VUB, serta Katrien Beuls dari University of Namur. Pendanaan berasal dari Research Foundation Flanders (FWO) dan Belgian National Research Fund (FNRS) melalui proyek WEAVE.

Catatan publikasi VUB mencantumkan jurnal Transactions of the Association for Computational Linguistics, volume 14, halaman 2234–2257, dengan DOI 10.1162/TACL.a.799. Catatan tersebut mencantumkan publikasi pada Agustus 2026.

Publikasi dan pengumuman itu mengikuti urutan berikut:

• April 2026: Makalah diajukan.
• Mei 2026: Makalah direvisi.
• Agustus 2026: Catatan publikasi universitas mencantumkan penerbitan di jurnal.
• 14 Oktober 2026: Pengumuman universitas memaparkan temuan tersebut.

Para peneliti menyebut kendaraan otonom, robot, dan sensor industri sebagai calon pengguna komunikasi yang disesuaikan dengan persepsi mesin. Lidar mengukur jarak menggunakan cahaya, sonar menggunakan suara, sensor inframerah mendeteksi radiasi yang berkaitan dengan suhu, dan instrumen kimia mengukur zat. Kosakata bersama dapat membantu mesin merujuk pada pola yang berguna dari berbagai masukan tersebut.

Langkah praktis selanjutnya adalah menguji cara kerja konvensi ini dengan peralatan fisik, lingkungan yang berubah, dan tuntutan operasional. Tidak ada jadwal penerapan yang diberikan. Untuk saat ini, hasilnya adalah metode yang telah diuji untuk membangun rujukan bersama dari beragam data, dengan kinerja terukur dalam kondisi berderau, memiliki perbedaan perseptual, dan kehilangan masukan.

Poin Utama

• Para peneliti dari VUB dan University of Namur menguji pembentukan kosakata pada 37 kumpulan data publik.
• Kelompok yang terdiri atas 10 agen dilatih melalui satu juta interaksi, lalu menjalani 100.000 interaksi pengujian.
• Tingkat keberhasilan pada tujuh kumpulan data yang disorot berkisar antara 95,77% hingga 99,76%.
• Para peneliti menyediakan prosedur pembelajaran; agen mengembangkan kata-kata tertentu dan konsep terkait melalui umpan balik.
• Eksperimen menguji adaptasi terhadap pengamatan berderau, struktur perseptual yang berbeda, dan masukan yang hilang.
• Populasi yang terdiri atas 100 agen mencapai keberhasilan 99,16% pada CLEVR setelah 10 juta interaksi.
• Studi ini menggunakan simulasi komputer. Penerapan pada robot, kendaraan, dan sensor industri merupakan usulan penggunaan.