Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire memperkenalkan pendekatan inside-out monitoring yang bertujuan mengidentifikasi aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut memiliki relevansi penting karena penggunaan agen digital semakin berkembang. Dalam berbagai aplikasi, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak hanya membaca respons akhir agen AI. Sebagai alternatif, teknologi tersebut membaca sinyal komputasi di dalam model. Data aktivasi tersebut dapat memberikan petunjuk mengenai arah perilaku model. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, kemampuan sistem perlu diuji pada berbagai kondisi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Komponen utama dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, proses komputasi menciptakan pola sinyal pada lapisan pemrosesan. Informasi internal tersebut memuat petunjuk mengenai proses pengolahan informasi. Detektor aktivasi kemudian mencari indikasi dalam representasi tersebut untuk mendeteksi aktivitas berisiko. Pada pemantauan tindakan digital, sistem klasifikasi dapat digunakan mengidentifikasi sinyal yang berkaitan dengan tindakan tidak aman. Melalui mekanisme tersebut, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Ketika memakai sistem evaluasi eksternal, sistem pengawas berbasis bahasa perlu menganalisis kembali riwayat tindakan model. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, sistem dapat menganalisis sinyal internal yang tersedia. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Meskipun konsumsi sumber daya relatif kecil, pemilihan sinyal internal perlu diperhatikan untuk memastikan pengawasan sesuai risiko.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, sistem klasifikasi membaca aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Pemeriksaan kedua digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, pemeriksaan mahal hanya digunakan ketika diperlukan.
Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Pilihan tersebut dapat mencakup pencatatan aktivitas, eskalasi ke petugas keamanan, atau penolakan permintaan berisiko. Sebagai contoh, agen pemrograman berpotensi menggunakan lingkungan pengujian. Ketika sistem mengenali kemungkinan penyimpangan, akses tertentu bisa ditinjau sebelum dilanjutkan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Angka tersebut menunjukkan adanya false positive. Karena kondisi tersebut, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.
Dalam evaluasi efisiensi, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Dalam pengujian pembanding, model tambahan kelas ringan memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Sebagai aspek performa tambahan, pengoperasian empat detektor internal dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Salah satu langkah penerapan adalah ketersediaan teknologi Goodfire bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut menjadi relevan terutama pada model terbuka karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, organisasi berpotensi meningkatkan perlindungan terhadap tindakan agen.
Tidak hanya untuk mengawasi risiko peretasan, teknologi Goodfire juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Kategori tersebut mencakup aktivitas berbahaya berkaitan dengan CBRN, reward hacking, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, tim keamanan memiliki kesempatan melakukan evaluasi sebelum masalah menimbulkan dampak lebih besar.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Berkat pemanfaatan sinyal komputasi model, sistem berupaya mendeteksi pola penyimpangan model tanpa harus memeriksa seluruh keluaran menggunakan model besar. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Walaupun perkembangan ini menarik, potensi peringatan palsu tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama evaluasi tindakan eksternal. Apa pandangan Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai masa depan sistem kecerdasan buatan yang lebih aman.
