Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire memperkenalkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Teknologi pemantauan tersebut menjadi perhatian karena penggunaan agen digital semakin berkembang. Ketika digunakan untuk menjalankan pekerjaan, agen AI dapat mengoperasikan perangkat lunak dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini memberikan manfaat produktivitas, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.
Tidak seperti pendekatan pemeriksaan keluaran, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebaliknya, teknologi tersebut membaca sinyal komputasi di dalam model. Data aktivasi tersebut dapat memberikan petunjuk mengenai aktivitas yang sedang diproses. Keunggulan pendekatan ini adalah penggunaan kembali proses perhitungan model. Melalui rancangan tersebut, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu detektor berukuran kecil yang membaca representasi numerik jaringan saraf. Selama sistem menghasilkan respons, proses komputasi menciptakan pola sinyal pada lapisan pemrosesan. Aktivasi yang terbentuk memuat petunjuk mengenai representasi yang dipelajari model. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Pada pemantauan tindakan digital, probe berpotensi dirancang mendeteksi sinyal yang berkaitan dengan tindakan tidak aman. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa perlu menganalisis kembali rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Sebaliknya, sistem dapat menganalisis aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Pendekatan pemantauan tersebut menggunakan proses pemeriksaan berlapis. Ketika agen sedang bekerja, sistem klasifikasi membaca representasi internal selama pemrosesan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Namun apabila terdapat peringatan, hasil deteksi dapat dikirim kepada model pemeriksa tambahan. Tahap analisis tambahan membantu menilai apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Di samping mengidentifikasi risiko, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Mekanisme penanganan tersebut antara lain logging untuk pemeriksaan, permintaan peninjauan manual, atau penghentian tindakan tertentu. Sebagai contoh, asisten digital pengembang mungkin memperoleh akses berbagai layanan perangkat lunak. Ketika sistem mengenali kemungkinan penyimpangan, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar aktivitas sah tidak sering terganggu.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe dievaluasi pada model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas tidak berbahaya ikut ditandai. Data pengujian tersebut menunjukkan adanya false positive. Karena kondisi tersebut, sistem perlu menyeimbangkan kemampuan menemukan ancaman.
Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa pemantauan sekitar 1.500 sesi menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, model tambahan kelas ringan menghabiskan dana sekitar US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menganggap hasil tersebut berlaku universal.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Salah satu langkah penerapan adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena model dapat dijalankan pada infrastruktur sendiri. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan perlindungan terhadap tindakan agen.
Selain pemantauan keamanan siber, pendekatan interpretabilitas model dikembangkan agar dapat memantau jenis risiko lainnya. Kategori tersebut mencakup aktivitas berbahaya berkaitan dengan CBRN, reward hacking, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Melalui deteksi risiko secara dini, pengembang dapat memperoleh peringatan sebelum aktivitas berkembang menjadi insiden.
Kesimpulan tentang Teknologi Pemantauan Internal Goodfire
Pengenalan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Dengan menganalisis aktivasi internal jaringan saraf, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire memberikan gambaran efektivitas terhadap 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, kebutuhan pengujian independen tetap menjadi faktor evaluasi. Dengan mempertimbangkan kondisi tersebut, sistem probe perlu diterapkan bersama pembatasan izin agen. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan menjadi standar keamanan agen AI masa depan? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.
