Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memiliki relevansi penting karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan intervensi pengguna yang lebih sedikit. Perkembangan ini memberikan manfaat produktivitas, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire mengembangkan kemampuan mendeteksi indikasi penyimpangan ketika model bekerja.
Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebaliknya, detektor memeriksa representasi numerik yang muncul selama pemrosesan. Sinyal internal ini berpotensi memperlihatkan indikasi mengenai kemungkinan tindakan berisiko. Keunggulan pendekatan ini adalah penggunaan kembali proses perhitungan model. Dengan demikian, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang menganalisis representasi numerik jaringan saraf. Saat model memproses instruksi, proses komputasi menciptakan pola sinyal pada lapisan pemrosesan. Aktivasi yang terbentuk dapat mencerminkan aktivitas komputasi yang sedang berlangsung. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Dengan pemrosesan semacam ini, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Keunggulan teknis pendekatan tersebut adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, pemeriksa kecerdasan buatan terpisah perlu menganalisis kembali rangkaian percakapan yang panjang. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila sistem menjalankan banyak langkah. Sebaliknya, pengawasan menggunakan representasi model yang telah dihitung. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk mengurangi kesalahan klasifikasi.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Goodfire menerapkan proses pemeriksaan berlapis. Ketika agen sedang bekerja, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Ketika probe menemukan sinyal berisiko, hasil deteksi dapat dikirim kepada model pemeriksa tambahan. Evaluasi berikutnya digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, sumber daya pengawasan dapat difokuskan.
Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur respons terhadap peringatan. Pengaturan respons ini antara lain pencatatan aktivitas, eskalasi ke petugas keamanan, atau penghentian tindakan tertentu. Dalam lingkungan perusahaan, asisten digital pengembang dapat memiliki kewenangan repositori kode. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Menurut hasil eksperimen Goodfire, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Data pengujian tersebut menggambarkan kemungkinan false positive. Dengan demikian, sistem perlu menyeimbangkan kemampuan menemukan ancaman.
Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Sebagai aspek performa tambahan, pengoperasian empat detektor internal dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, data tersebut berasal dari evaluasi tertentu. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menerapkan sistem secara luas.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi pelanggan Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, pelanggan memiliki kesempatan menggunakan pengawasan aktivasi internal ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut memiliki manfaat potensial terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Dengan demikian, penyedia layanan AI dapat mengembangkan perlindungan terhadap tindakan agen.
Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model juga diarahkan untuk mengenali beragam pola penyalahgunaan. Contoh risiko yang diperhatikan mencakup aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Peluncuran teknologi pemantauan internal Goodfire menunjukkan inovasi menarik dalam teknologi interpretabilitas kecerdasan buatan. Dengan menganalisis aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali pola penyimpangan model tanpa membutuhkan analisis ulang setiap respons secara mendalam. Data eksperimen yang diumumkan perusahaan melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan pengeluaran pemantauan yang relatif kecil. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap menjadi faktor evaluasi. Dengan mempertimbangkan kondisi tersebut, pengawasan berbasis aktivasi idealnya didukung evaluasi tindakan eksternal. Apa pandangan Anda, apakah sistem pemantauan internal Goodfire akan meningkatkan kepercayaan terhadap sistem AI otonom? Silakan bagikan pendapat Anda mengenai perkembangan teknologi keamanan AI.
