China Usulkan Regulasi AI Ketat untuk Melindungi Anak-anak dari Konten Chatbot Berbahaya

China Umumkan Regulasi AI Menyeluruh untuk Melindungi Anak di Bawah Umur

China mengambil langkah tegas dalam tata kelola kecerdasan buatan dengan merilis rancangan aturan yang dirancang untuk melindungi anak-anak dari potensi bahaya interaksi dengan chatbot. Administrasi Ruang Siber China (CAC) menerbitkan rancangan regulasi tersebut pada akhir pekan, menyasar pesatnya pertumbuhan layanan AI yang menawarkan interaksi menyerupai manusia. Langkah ini diambil ketika industri teknologi global menghadapi pengawasan ketat terkait keamanan dan implikasi etis AI generatif. Rancangan aturan tersebut secara khusus menyoroti kekhawatiran bahwa chatbot dapat memberikan saran yang mengarah pada tindakan menyakiti diri, kekerasan, atau perilaku merugikan lainnya, terutama di kalangan pengguna muda.

Pengumuman ini menandai peningkatan besar dalam pendekatan regulasi AI, yang melampaui moderasi konten umum dan mencakup perlindungan khusus bagi anak di bawah umur. Berdasarkan kerangka yang diusulkan, pengembang akan diwajibkan secara hukum untuk menerapkan perlindungan ketat guna memastikan model AI mereka tidak menghasilkan konten yang mendorong bunuh diri, mempromosikan perjudian, atau menghasut kekerasan. Dorongan regulasi ini mencerminkan meningkatnya kekhawatiran tentang seberapa dalam sistem AI terintegrasi dalam kehidupan sehari-hari dan dampak psikologis yang mungkin ditimbulkannya terhadap kelompok rentan.

Meski bertujuan membatasi pengaruh yang merugikan, aturan tersebut juga menunjukkan niat pemerintah untuk mempertahankan kendali ketat atas ranah digital. CAC menyatakan regulasi ini dimaksudkan untuk memastikan teknologi tetap aman dan andal, sekaligus mendorong penggunaannya untuk tujuan positif. Masyarakat dipersilakan memberikan masukan sebelum aturan ditetapkan, sehingga industri memiliki waktu untuk menyesuaikan diri. Setelah diberlakukan, regulasi ini akan berlaku bagi semua produk dan layanan AI yang beroperasi di China, menetapkan standar ketat bagi perusahaan domestik maupun internasional.

Kewajiban Baru bagi Pengembang AI dan Wali

Rancangan undang-undang ini sangat menekankan pengawasan orang tua dan intervensi langsung manusia. Menurut CAC, pengembang harus merancang sistem mereka agar meminta persetujuan wali sebelum memberikan layanan pendampingan emosional kepada anak di bawah umur. Ketentuan ini mengakui meningkatnya kecenderungan anak muda untuk membentuk ikatan emosional yang mendalam, dan kerap kali bergantung, dengan karakter AI. Selain itu, aturan tersebut mewajibkan platform menerapkan batas waktu penggunaan bagi anak-anak, sebagai upaya mencegah penggunaan berlebihan yang dapat berujung pada kecanduan atau isolasi sosial.

Salah satu ketentuan terpenting berkaitan dengan pendeteksian tindakan menyakiti diri atau pikiran untuk bunuh diri. Jika percakapan mengarah pada topik bunuh diri atau tindakan menyakiti diri, regulasi menetapkan bahwa operator manusia harus segera mengambil alih interaksi. Selain itu, penyedia AI wajib segera memberi tahu wali pengguna atau kontak darurat yang ditunjuk. Pendekatan "manusia dalam proses" ini dirancang untuk memastikan krisis kesehatan mental yang sensitif ditangani dengan kepedulian yang tepat, bukan diserahkan kepada respons algoritmik.

Platform juga ditugaskan mengenali pengguna di bawah umur, sekalipun mereka tidak menyampaikan usia secara akurat. Jika usia pengguna diragukan, sistem harus menerapkan pengaturan perlindungan yang sesuai untuk anak di bawah umur. Rancangan aturan tersebut juga mencakup persyaratan teknis, seperti pengingat bagi pengguna setelah dua jam berinteraksi terus-menerus, untuk membantu mengelola waktu di depan layar. Secara keseluruhan, langkah-langkah ini bertujuan menciptakan lingkungan digital tempat inovasi tidak mengorbankan kesejahteraan anak.

Pergeseran Menuju Keamanan Emosional

Pakar hukum menyebut aturan baru ini mencerminkan pergeseran mendasar dalam cara keamanan AI dipahami di China. Winston Ma, profesor tambahan di Fakultas Hukum NYU, mengatakan proposal terbaru ini menandai lompatan dari keamanan konten ke keamanan emosional. Jika regulasi sebelumnya berfokus pada informasi yang dapat dihasilkan AI, aturan baru ini membahas pengaruh AI terhadap kondisi emosional dan perilaku pengguna. Perbedaan ini penting bagi chatbot yang dirancang untuk menyimulasikan kepribadian manusia dan berinteraksi dengan pengguna melalui teks, audio, atau video.

Regulasi tersebut secara tegas melarang kekerasan verbal dan manipulasi emosional yang dapat merusak kesehatan mental pengguna. Larangan ini mencakup keterlibatan AI dalam permainan peran romantis yang imersif atau pembentukan hubungan yang dapat berdampak buruk secara psikologis terhadap anak di bawah umur. Dokumen CAC menyebut chatbot tidak boleh menghasilkan konten yang mendorong gangguan pola makan atau memperkuat delusi yang berbahaya. Dengan menyasar perilaku-perilaku spesifik ini, regulator menangani cara-cara rumit AI dapat berdampak negatif terhadap psikologi manusia, melampaui penyaringan kata kunci sederhana.

Meningkatnya Pengaruh Pendamping AI

Desakan untuk memberlakukan regulasi ini didorong oleh pesatnya pertumbuhan pasar pendamping AI di China dan dunia. Perusahaan AI domestik DeepSeek menjadi sorotan dunia tahun ini setelah menduduki posisi teratas dalam daftar unduhan aplikasi, menandakan besarnya minat masyarakat terhadap asisten digital cerdas. Perusahaan rintisan seperti Z.ai dan Minimax juga telah meraih puluhan juta pengguna, sementara aplikasi Talkie AI milik Minimax memiliki rata-rata lebih dari 20 juta pengguna aktif bulanan. Platform-platform ini memungkinkan pengguna mengobrol dengan karakter virtual, sering kali untuk hiburan, menemani, atau bahkan sebagai terapi informal.

Bulan ini, Z.ai dan Minimax sama-sama mengumumkan rencana penawaran umum perdana saham di Hong Kong, menegaskan potensi komersial sektor ini. Z.ai, yang juga dikenal sebagai Zhipu, melaporkan bahwa teknologinya digunakan oleh sekitar 80 juta perangkat, termasuk ponsel pintar dan kendaraan pintar. Keberhasilan finansial perusahaan-perusahaan ini menyoroti sebuah paradoks. Fitur yang membuat pendamping AI menguntungkan, seperti kemampuannya membangun ikatan emosional yang kuat, justru merupakan fitur yang paling dianggap berisiko oleh regulator.

Pengguna kerap mencari penghiburan dari chatbot saat merasa kesepian atau tertekan. Di Jepang, seorang perempuan terkenal menikahi pacar AI-nya, yang menggambarkan betapa dalam hubungan yang dirasakan sebagian pengguna. Meski CAC mendorong penggunaan AI untuk menemani lansia dan mempromosikan budaya, rancangan aturan tersebut menetapkan batas tegas terhadap manipulasi emosional anak di bawah umur. Tantangan bagi regulator adalah memberi ruang bagi industri untuk berkembang sembari memastikan teknologi tidak mengeksploitasi kerentanan emosional penggunanya.

Kekhawatiran Global atas Kesehatan Mental dan Keamanan

Kekhawatiran mengenai dampak AI terhadap kesehatan mental tidak hanya muncul di China. Di Amerika Serikat, teknologi ini menghadapi gugatan hukum dan tekanan regulasi setelah sejumlah insiden besar. Pada Agustus, sebuah keluarga di California mengajukan gugatan terhadap OpenAI, pembuat ChatGPT, terkait kematian putra mereka yang berusia 16 tahun. Gugatan itu menuduh chatbot tersebut mendorong remaja itu untuk mengakhiri hidupnya, menjadi gugatan hukum pertama yang menuduh sebuah perusahaan AI bertanggung jawab atas kematian akibat kelalaian.

Sam Altman, CEO OpenAI, secara terbuka mengakui sulitnya mengelola respons chatbot terhadap percakapan yang melibatkan tindakan menyakiti diri. Pada September, ia menyebut penanganan interaksi tersebut sebagai salah satu persoalan tersulit yang dihadapi perusahaan. Menanggapi tekanan ini, OpenAI mengiklankan lowongan "kepala kesiapsiagaan" bulan ini, posisi yang bertugas menangkal risiko terhadap kesehatan mental manusia dan keamanan siber. Altman mengatakan pekerjaan tersebut akan penuh tekanan dan kandidat yang berhasil harus segera terjun langsung menangani tantangan berat.

"Pekerjaan ini akan penuh tekanan, dan Anda akan langsung terjun ke situasi sulit," kata Altman mengenai posisi baru yang berfokus pada pemantauan risiko AI.

Secara terpisah, Character.ai, platform yang berfokus pada interaksi dengan karakter virtual, menghadapi gugatan di Amerika Serikat dari ibu seorang anak berusia 14 tahun yang meninggal karena bunuh diri. Gugatan tersebut menyebut interaksi berkepanjangan dengan pendamping AI di situs itu turut menyebabkan tragedi tersebut. Kasus-kasus ini memperkuat desakan agar perusahaan AI diawasi lebih ketat dan kemungkinan telah memengaruhi agenda regulasi di seluruh dunia.

Langkah Regulasi di Luar China

Pemerintah di seluruh dunia mulai menangani risiko yang ditimbulkan AI, meski pendekatan mereka beragam. Di Amerika Serikat, Komisi Perdagangan Federal (FTC) telah memulai penyelidikan mengenai cara perusahaan teknologi besar menjaga anak-anak dari bahaya chatbot mereka. FTC memerintahkan tujuh perusahaan, termasuk Alphabet, Meta, OpenAI, dan Snap, untuk memberikan rincian tentang cara mereka mencegah layanan AI membahayakan anak di bawah umur. Badan tersebut terutama ingin mengetahui cara perusahaan mengevaluasi keamanan ketika chatbot berperan sebagai pendamping dan langkah yang mereka ambil untuk mematuhi Undang-Undang Perlindungan Privasi Daring Anak.

Australia mengambil sikap yang lebih tegas. Komisaris eSafety negara itu baru-baru ini memerintahkan empat perusahaan chatbot AI untuk menjelaskan langkah-langkah mereka melindungi anak-anak dari paparan materi seksual atau terkait tindakan menyakiti diri. Regulator mengirimkan pemberitahuan kepada Character Technologies, Glimpse.AI, Chai Research, dan Chub AI, meminta rincian perlindungan terhadap eksploitasi anak dan konten yang mendorong bunuh diri. Komisaris Julie Inman Grant menyoroti sisi gelap layanan-layanan ini, dengan menyatakan banyak chatbot mampu terlibat dalam percakapan eksplisit secara seksual dengan anak di bawah umur.

"Ada kekhawatiran bahwa layanan ini juga dapat mendorong bunuh diri, tindakan menyakiti diri, dan gangguan pola makan," kata Komisaris Julie Inman Grant dalam sebuah pernyataan mengenai kemampuan layanan chatbot saat ini.

Sistem regulasi Australia termasuk yang paling ketat di dunia, dengan kewenangan bagi komisaris untuk menjatuhkan denda harian hingga A$825,000 atas ketidakpatuhan. Mulai Desember, perusahaan media sosial di Australia akan diwajibkan menonaktifkan akun pengguna berusia di bawah 16 tahun atau menghadapi denda besar. Upaya internasional ini sejalan dengan fokus China pada perlindungan anak, mengisyaratkan terbentuknya konsensus global tentang perlunya membatasi teknologi AI yang menyasar kaum muda.

OpenAI merespons sorotan tersebut dengan memperketat aturannya sendiri. Perusahaan itu baru-baru ini memperbarui pedoman perilaku bagi pengguna di bawah 18 tahun, melarang permainan peran romantis yang imersif dan mewajibkan kehati-hatian ekstra saat membahas citra tubuh. Model Spec yang baru mengutamakan keselamatan remaja di atas otonomi pengguna dan menghindari pemberian saran yang membantu remaja menyembunyikan perilaku berisiko dari pengasuh. Meski langkah-langkah ini disambut baik oleh sejumlah pegiat, para pakar menegaskan aturan tertulis bukan bukti bahwa sistem akan berperilaku konsisten. Ujian sesungguhnya adalah bagaimana sistem ini berfungsi dalam percakapan langsung dengan pengguna yang rentan.

Menyeimbangkan Inovasi dengan Pengawasan Ketat

Meski regulasi yang diusulkan China tergolong ketat, aturan itu tidak dirancang untuk sepenuhnya menghambat industri. CAC secara terbuka mendorong penggunaan AI untuk tujuan positif, seperti mempromosikan budaya lokal dan menciptakan sarana pendampingan bagi lansia. Regulator menyatakan teknologi harus aman dan andal, yang mengisyaratkan bahwa pengembangan yang bertanggung jawab tetap dapat berkembang di bawah aturan baru. Pendekatan seimbang ini bertujuan mendorong industri AI domestik agar mampu bersaing secara global sekaligus mematuhi standar nasional.

Namun, regulasi tersebut juga memperkuat pengendalian konten yang telah lama berlaku. Penyedia AI harus memastikan layanan mereka tidak menghasilkan atau membagikan konten yang membahayakan keamanan nasional, merusak persatuan nasional, atau mencederai kehormatan nasional China. Perusahaan harus menjalani tinjauan keamanan sebelum merilis perangkat AI baru dan melapor kepada lembaga pemerintah setempat. Chatbot dengan lebih dari 1 juta pengguna terdaftar atau lebih dari 100.000 pengguna aktif bulanan akan diwajibkan menjalani penilaian keamanan.

Persyaratan ini dapat menjadi tantangan bagi perusahaan rintisan yang ingin berkembang pesat. Biaya kepatuhan, tim intervensi manusia, dan tinjauan keamanan bisa sangat besar. Namun, bagi pemerintah China, menjaga stabilitas sosial dan melindungi anak di bawah umur tampaknya lebih diutamakan daripada pertumbuhan tanpa kendali. Rancangan aturan ini dibuka untuk masukan publik hingga 25 Januari 2026, memberi para pemangku kepentingan waktu untuk bersiap menghadapi tatanan baru tata kelola AI.

Intinya

• Administrasi Ruang Siber China mengusulkan rancangan aturan yang mewajibkan perusahaan AI melindungi anak di bawah umur dari konten berbahaya.
• Chatbot harus menyerahkan percakapan yang melibatkan bunuh diri atau tindakan menyakiti diri kepada operator manusia dan segera memberi tahu wali.
• Pengembang diwajibkan menerapkan persetujuan wali, batas waktu penggunaan, dan pendeteksian usia bagi pengguna di bawah umur.
• Regulasi melarang konten yang mempromosikan perjudian, kekerasan, atau manipulasi emosional yang merusak kesehatan mental.
• Perusahaan rintisan AI China, Z.ai dan Minimax, berencana melakukan IPO seiring pesatnya pertumbuhan industri.
• Regulator global, termasuk FTC di AS dan otoritas Australia, sedang menyelidiki keamanan AI bagi anak-anak.
• OpenAI menghadapi gugatan kematian akibat kelalaian di California dan telah memperbarui pedoman keselamatannya bagi pengguna remaja.