Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan pengembang teknologi interpretabilitas AI Goodfire menghadirkan sistem pemantauan internal yang bertujuan mengidentifikasi perilaku agen AI berisiko. Pengembangan tersebut memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan intervensi pengguna yang lebih sedikit. Perkembangan ini memberikan manfaat produktivitas, tetapi memerlukan sistem perlindungan tambahan. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Sebaliknya, teknologi tersebut membaca sinyal komputasi di dalam model. Data aktivasi tersebut dapat memberikan petunjuk mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa aktivasi internal model AI. Ketika agen AI menjalankan tugas, model menghasilkan berbagai aktivasi internal. Informasi internal tersebut memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Detektor aktivasi kemudian memeriksa pola tertentu untuk mengidentifikasi perilaku mencurigakan. Sebagai contoh, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, pengawasan tidak harus menunggu seluruh respons selesai.
Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Pada metode konvensional, pemeriksa kecerdasan buatan terpisah dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Sebaliknya, sistem dapat menganalisis aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Meskipun konsumsi sumber daya relatif kecil, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, detektor internal memeriksa aktivasi pada berbagai langkah. Jika tidak muncul indikasi berbahaya, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya bertujuan menentukan apakah aktivitas memerlukan tindakan perlindungan. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.
Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Mekanisme penanganan tersebut meliputi penyimpanan laporan kejadian, permintaan peninjauan manual, atau penghentian tindakan tertentu. Pada sistem AI yang digunakan untuk pekerjaan, asisten digital pengembang berpotensi menggunakan berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar pengguna tidak terlalu banyak menerima peringatan palsu.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk mengukur kemampuan pendeteksian. Mengacu pada hasil yang dipublikasikan, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal ikut ditandai. Data pengujian tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Oleh sebab itu, sistem perlu menyeimbangkan efektivitas dan kenyamanan penggunaan.
Dalam evaluasi efisiensi, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah membutuhkan sekitar US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, pengoperasian empat detektor internal menurut perusahaan meningkatkan waktu tunggu awal respons di bawah dua persen. Namun demikian, data tersebut berasal dari evaluasi tertentu. Oleh sebab itu, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Bagian penting dari peluncuran adalah akses terhadap pengawasan berbasis probe bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan detektor risiko berbasis model ketika menjalankan agen otomatis. Sistem pemantauan ini menjadi relevan terutama pada model terbuka karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat perlindungan terhadap tindakan agen.
Di luar pendeteksian aktivitas hacking, teknologi Goodfire dikembangkan agar dapat memantau jenis risiko lainnya. Kategori tersebut antara lain penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, agen mungkin mencoba memanipulasi hasil evaluasi. Dengan memahami pola tersebut, tim keamanan memiliki kesempatan melakukan evaluasi sebelum aktivitas berkembang menjadi insiden.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan teknologi pemantauan internal Goodfire memperlihatkan arah baru dalam teknologi interpretabilitas kecerdasan buatan. Dengan menganalisis aktivasi internal jaringan saraf, detektor memungkinkan identifikasi kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire memberikan gambaran efektivitas terhadap 94 persen sesi dengan tindakan siber mencurigakan, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap menjadi faktor evaluasi. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.
