Taiwan Buka Konsultasi Keamanan Agen AI Sebelum Diterapkan di Sistem Keuangan

30 hari untuk membahas perlindungan bagi AI yang dapat bertindak

Komisi Pengawas Keuangan Taiwan (FSC) membuka konsultasi publik selama 30 hari pada 13 Oktober 2026, dengan mengusulkan perlindungan keamanan bagi agen kecerdasan buatan (AI) yang dapat terhubung ke, mengoperasikan, atau memicu sistem operasional lembaga keuangan. Usulan tersebut menetapkan empat tingkat risiko, L1 hingga L4, dan menyerukan agar tindakan berisiko tertinggi mensyaratkan otorisasi, peninjauan, atau mekanisme penghentian eksekusi yang diperlukan.

Dokumen berjudul Consultation Document on the Safe Use of Agentic AI in the Financial Sector itu disusun sebelum penerapan luas. Lin Yu-tai, direktur Departemen Manajemen Informasi komisi tersebut, mengatakan sebagian besar lembaga keuangan masih bereksperimen atau melakukan uji coba skala kecil di lingkungan terkendali. Ia mengatakan belum mendengar adanya lembaga yang menerapkan agen tersebut dalam operasi bisnis langsung.

Perhatian utama komisi adalah peralihan dari AI yang menghasilkan informasi ke AI yang mengambil tindakan. Asisten yang merangkum keluhan pelanggan menimbulkan persoalan keamanan berbeda dibandingkan agen yang dapat mengambil catatan rahasia, mengubah informasi dalam sistem, atau langsung mengirim balasan kepada pelanggan.

Karena itu, konsultasi ini berfokus pada izin dan akuntabilitas, bukan hanya akurasi model. Lembaga perlu menentukan informasi apa yang dapat diakses agen, alat apa yang dapat digunakannya, tindakan apa yang boleh dilakukannya, serta bagaimana staf dapat menghentikannya atau mengambil alih ketika terjadi masalah.

Dokumen tersebut bukan peraturan baru atau pedoman resmi. Dokumen itu tidak menggantikan undang-undang yang berlaku, persyaratan pengawasan, aturan alih daya, maupun pengendalian internal. Komisi berharap konsultasi ini dapat mendukung penyusunan pedoman di kemudian hari, tetapi belum menetapkan jadwal untuk tahap tersebut.

Mengapa akses operasional mengubah tingkat risiko

AI agentik dapat merencanakan langkah, memanggil alat perangkat lunak, dan mengambil informasi dari berbagai sistem untuk menyelesaikan tugas. Hal ini membedakannya dari aplikasi percakapan yang fungsi utamanya menghasilkan jawaban untuk dinilai seseorang. Persoalan keamanan menjadi lebih mendesak ketika jawaban yang keliru dapat langsung berubah menjadi tindakan operasional.

Lin mengidentifikasi empat risiko utama: agen menyimpang dari tujuan yang ditetapkan, menyalahgunakan alat atau melampaui izinnya, membocorkan informasi sensitif, serta memungkinkan kesalahan menyebar melalui rangkaian tindakan. Risiko-risiko ini dapat saling berkaitan. Agen mungkin mengambil informasi yang seharusnya tidak digunakan, memasukkannya ke dalam pesan, lalu mengirim pesan itu ke luar lembaga.

Halusinasi AI, yakni keluaran yang tampak masuk akal tetapi keliru, tetap menjadi perhatian. Lin menggambarkan skenario ketika agen memasukkan informasi pribadi ke dalam surel eksternal yang seharusnya tidak memuatnya. Ini merupakan ilustrasi kemungkinan kegagalan, bukan insiden yang diungkapkan oleh suatu lembaga keuangan.

Kecepatan juga mengubah skala potensi dampak. Lin membandingkan seseorang yang mungkin menangani satu kasus per jam dengan agen yang berpotensi menangani 100 kasus. Contoh tersebut menunjukkan perbedaan seratus kali lipat dalam volume pemrosesan, bukan hasil produktivitas yang telah diukur. Intinya, kesalahan otomatis dapat menyebar ke banyak kasus sebelum staf turun tangan.

Kelola tugasnya, bukan hanya teknologinya

Konsultasi ini mengatur usulan berdasarkan tiga bidang: tata kelola keamanan, klasifikasi risiko, dan pengendalian keamanan. Unit pengelolaan yang diutamakan adalah skenario penggunaan, yakni tugas tertentu yang ingin diberikan lembaga kepada agen, bukan produk AI yang dinilai secara terpisah.

Untuk setiap skenario, lembaga perlu menetapkan tujuan bisnis, personel yang bertanggung jawab, data yang boleh diakses, alat yang tersedia, serta tindakan yang diizinkan. Lembaga juga perlu menentukan ke mana keluaran dapat dikirim atau dicatat, serta apa yang harus dilakukan jika agen berperilaku tidak normal.

Pendekatan ini membuat perangkat lunak yang sama tunduk pada pengendalian berbeda sesuai perannya. Agen yang menganalisis informasi keamanan tanpa mengambil tindakan berbeda dari agen yang diizinkan mengubah sistem operasional. Karena itu, perubahan izin dapat sama pentingnya dengan perubahan model yang mendasarinya.

Tata kelola tidak berhenti pada persetujuan awal. Usulan tersebut mencakup peninjauan, pemantauan, pemeriksaan, pembatasan kemampuan, penangguhan, serta mekanisme pemulihan yang disesuaikan dengan risikonya. Klasifikasi perlu menjadi dasar ambang persetujuan, ketentuan uji coba, keputusan penerapan, dan pengawasan selanjutnya, dengan penilaian ulang seiring perubahan aplikasi.

Empat tingkat risiko dinilai berdasarkan tiga aspek

Klasifikasi yang diusulkan, L1 hingga L4, menggunakan tiga aspek: sensitivitas data, dampak tindakan, serta batas kemampuan atau potensi penyebaran dampak. Penilaian mengikuti hasil dengan risiko lebih tinggi, alih-alih membiarkan fitur berisiko rendah mengimbangi fitur yang lebih berbahaya.

Sensitivitas data berkaitan dengan informasi yang dapat dilihat agen. Akses ke informasi publik berbeda dari akses ke catatan pribadi atau rahasia bisnis. Dampak tindakan berkaitan dengan apa yang dapat dilakukan agen terhadap informasi tersebut, mulai dari membacanya hingga mengubah catatan atau berkomunikasi ke luar lembaga.

Aspek ketiga mempertimbangkan cakupan dan jangkauan aktivitasnya. Agen yang dibatasi pada satu tugas berbeda dari agen yang dapat memproses banyak kasus sekaligus, terus beroperasi sepanjang waktu, atau menjalankan beberapa langkah yang saling terhubung. Di sinilah kemungkinan kesalahan kecil berkembang menjadi masalah operasional yang lebih besar diperhitungkan.

Untuk aplikasi L4, usulan tersebut akan mencegah tindakan berisiko tinggi dieksekusi secara otomatis tanpa otorisasi, peninjauan, atau mekanisme pemblokiran yang diperlukan. Aplikasi berisiko lebih rendah tetap memiliki ruang untuk diuji coba. Komisi menyatakan pendekatannya didasarkan pada risiko, proporsionalitas, dan netralitas terhadap teknologi tertentu, dengan merujuk pada kerangka keamanan internasional.

Layanan pelanggan menunjukkan pentingnya izin

Contoh layanan pelanggan yang disampaikan Lin memberikan perbandingan praktis. Agen yang mengumpulkan keluhan dan menyiapkan ringkasan berada pada rentang risiko rendah hingga menengah. Jika agen itu juga dapat mengirim balasan kepada pelanggan, tingkat risikonya menjadi menengah hingga tinggi karena agen dapat bertindak di luar lembaga.

Perbedaannya bukan sekadar apakah kedua aplikasi menggunakan AI. Dalam kasus pertama, pegawai dapat meninjau ringkasan sebelum hal itu berdampak pada pelanggan. Dalam kasus kedua, agen dapat mengubah penafsirannya menjadi komunikasi eksternal. Izin untuk mengirim pesan mengubah konsekuensi dari suatu kesalahan.

Izin untuk menulis informasi menciptakan batas lain. Agen yang hanya diizinkan membaca tidak dapat mengubah catatan asli melalui izin tersebut. Begitu izin menulis diberikan, kesalahan dapat mengubah atau menghapus informasi. Karena itu, pengendalian harus mencakup kualitas keluaran sekaligus integritas sistem yang diaksesnya.

Contoh ini juga menjelaskan mengapa satu label untuk seluruh program AI lembaga tidaklah memadai. Dua penggunaan agen yang sama mungkin memerlukan ketentuan persetujuan, pemantauan, dan pemulihan berbeda karena akses data dan tindakan yang diizinkan tidak sama.

Pegawai digital tetap membutuhkan pengawas manusia

Lin menggambarkan agen AI sebagai pegawai digital karena dapat secara aktif menjalankan suatu tugas. Analogi ini bukan hanya soal pemberian peran: lembaga harus menentukan apa yang boleh dilakukan agen, mengujinya sebelum diterapkan, mengawasi aktivitasnya, dan memiliki prosedur untuk menghentikan pekerjaannya.

Saat membahas tanggung jawab penerapan, Lin menegaskan bahwa menyerahkan tugas kepada agen tidak menghapus akuntabilitas manusia. Dalam terjemahan bahasa Inggris, ia mengatakan:

AI hanya dapat menjadi asisten; manusia tetap menjadi pengawas utama.

Prinsip itu menempatkan tanggung jawab pada manusia untuk menetapkan wewenang agen dan merespons kegagalan. Pengendalian keamanan yang ada tidak boleh begitu saja dilewati hanya karena AI agentik digunakan. Lembaga memerlukan pengambil keputusan manusia yang bertanggung jawab sekaligus sarana teknis untuk menegakkan batas yang telah disetujui orang tersebut.

Fokus komisi lebih sempit daripada seluruh penggunaan AI oleh pegawai. Asisten pribadi yang bekerja dalam lingkup wewenang yang sudah dimiliki seseorang dapat dikelola melalui pengendalian internal dan pengaturan keamanan yang ada. Menghubungkan agen ke sistem operasional lembaga keuangan membutuhkan penilaian baru atas risiko dan keamanan informasi.

Pengendalian identitas dan akses juga berlaku bagi agen

Usulan keamanan tersebut memperlakukan agen sebagai identitas nonmanusia dan beban kerja perangkat lunak. Dalam praktiknya, lembaga perlu mengetahui agen mana yang sedang bertindak dan izin apa yang berlaku baginya. Aktivitas agen tidak boleh sulit dibedakan dari aktivitas pengguna lain atau proses otomatis lainnya.

Pendekatan ini bertumpu pada prinsip zero trust: akses tidak dianggap aman hanya karena suatu sistem berada di dalam organisasi. Identitas dan izin harus diverifikasi, akses dibatasi sesuai kebutuhan tugas, dan tindakan harus dapat ditelusuri.

Pengendalian mencakup identitas, perangkat dan lingkungan eksekusi, jaringan, aplikasi dan beban kerja, serta perlindungan data. Usulan tersebut memuat persyaratan keamanan dan sasaran pengendalian dasar maupun lanjutan, dengan pengendalian perilaku, visibilitas, dan analisis sebagai bagian dari pendekatan.

Lin memaparkan beberapa langkah konkret. Agen harus dijalankan dalam lingkungan terisolasi yang sesuai, koneksi jaringan harus dibatasi berdasarkan tugas, dan alat harus dibatasi pada daftar yang disetujui. Akses data harus mengikuti prinsip kebutuhan minimum. Langkah-langkah ini menangani berbagai jalur yang dapat membuat agen melampaui peran yang ditetapkan, alih-alih hanya mengandalkan instruksi yang diberikan kepada model.

Pengujian harus mencakup kegagalan di seluruh alur kerja

Untuk aplikasi yang dapat menjalankan suatu alur kerja, konsultasi ini mengusulkan pengujian sebelum penerapan terhadap prompt injection, penyalahgunaan alat, izin turunan, dan kontaminasi memori. Pengujian tersebut memeriksa perilaku agen ketika informasi, alat, atau wewenang yang ditemuinya mengarahkannya menjauh dari tugas yang disetujui.

Prompt injection terjadi ketika instruksi tersembunyi dalam materi yang dibaca agen berupaya mengalihkan perilakunya. Penyalahgunaan alat berkaitan dengan penggunaan perangkat lunak terhubung secara tidak semestinya. Izin turunan dapat memberi agen akses yang terbawa dari akun atau proses lain, sementara kontaminasi memori terjadi ketika informasi tersimpan memengaruhi aktivitas berikutnya dengan cara yang tidak diinginkan.

Tujuan operasionalnya tidak hanya mencegah kegagalan. Sistem harus dapat diamati, dibatasi atau dihentikan, dipulihkan, dan ditelusuri. Staf perlu mengetahui apa yang sedang dilakukan agen, menghentikan aktivitas yang merugikan, dan memulihkan operasi yang terdampak jika memungkinkan.

Catatan aktivitas agen harus mendukung penyelidikan dan audit. Menghentikan agen saja mungkin tidak menyelesaikan kegagalan jika agen telanjur mencatat informasi yang keliru atau memicu tindakan lanjutan. Karena itu, usulan tersebut mengaitkan penghentian dengan pemulihan dan pencatatan tentang apa yang terjadi.

Konsultasi, bukan aturan akhir penerapan

Komisi menerbitkan dokumen tersebut di bagian diskusi publik Platform Partisipasi Jaringan Kebijakan Publik Taiwan. Komisi menyatakan konsultasi ini bertujuan memasukkan pengalaman praktis ke dalam kerangka tersebut serta menjadi dasar penyusunan kebijakan, kemungkinan pedoman, dan pembahasan pengawasan.

Lin mengatakan pesatnya perubahan teknologi menjadi salah satu alasan untuk tidak segera menerbitkan pedoman yang kaku. Komisi juga tidak dapat menganggap telah mengidentifikasi semua risiko yang relevan. Karena itu, rencana untuk menyusun pedoman bergantung pada masukan dan perkembangan lebih lanjut, bukan janji penerbitan dokumen final pada tanggal tertentu.

Tahapan yang dijelaskan komisi adalah:

• Juli 2026: FSC mengusulkan strategi untuk merespons serangan AI, yang menurut Lin menjadi landasan bagi pekerjaan saat ini.
• 13 Oktober 2026: FSC merilis dokumen konsultasi keamanan AI agentik.
• Setelah publikasi: Masa konsultasi publik selama 30 hari memberi kesempatan untuk menyampaikan masukan mengenai pendekatan yang diusulkan.
• Setelah konsultasi: Kemungkinan pedoman resmi akan bergantung pada masukan dan perkembangan teknologi; jadwal penerbitannya belum diumumkan.

Uji coba yang sedang berlangsung membantu menjelaskan waktunya. Lin mengatakan banyak eksperimen dilakukan di bidang keamanan siber, seperti menganalisis intelijen keamanan tanpa langsung mengambil tindakan operasional. Komisi ingin perlindungan tersedia sebelum agen digunakan lebih jauh dalam proses administratif dan bisnis. Langkah konkret berikutnya adalah konsultasi ini, sementara rumusan dan status akhir pedoman apa pun masih belum diputuskan.

Poin Utama

• FSC Taiwan membuka konsultasi selama 30 hari pada 13 Oktober 2026 mengenai penggunaan AI agentik yang aman di sektor keuangan.
• Fokusnya adalah agen yang dapat terhubung ke, mengoperasikan, atau memicu sistem operasional lembaga keuangan.
• Usulan tersebut menggunakan empat tingkat risiko yang dinilai berdasarkan sensitivitas data, dampak tindakan, dan batas kemampuan.
• Tindakan berisiko tertinggi mensyaratkan otorisasi, peninjauan, atau mekanisme pemblokiran eksekusi yang diperlukan.
• Lembaga perlu membatasi izin, menyimpan catatan aktivitas, serta mampu menghentikan agen dan memulihkan keadaan setelah kegagalan.
• Tanggung jawab manusia tetap berlaku meskipun agen AI yang menjalankan tugas.
• Sebagian besar penggunaan masih dalam tahap eksperimen. Dokumen ini bukan pedoman resmi dan belum ada jadwal penyusunannya.