Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire menghadirkan sistem pemantauan internal yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut menjadi perhatian karena penggunaan agen digital semakin berkembang. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Perkembangan ini memberikan manfaat produktivitas, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi aktivitas mencurigakan sebelum tindakan terjadi.
Tidak seperti pendekatan pemeriksaan keluaran, teknologi Goodfire tidak sepenuhnya bergantung pada teks yang dihasilkan model. Sebagai alternatif, detektor memeriksa sinyal komputasi di dalam model. Sinyal internal ini memungkinkan pengenalan pola mengenai arah perilaku model. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, biaya pemantauan berpotensi berkurang. Namun demikian, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang menganalisis representasi numerik jaringan saraf. Saat model memproses instruksi, proses komputasi menciptakan sejumlah representasi numerik. Informasi internal tersebut berkaitan dengan representasi yang dipelajari model. Detektor aktivasi kemudian mencari indikasi dalam representasi tersebut untuk mendeteksi aktivitas berisiko. Dalam penerapan keamanan, sistem klasifikasi dapat digunakan mengidentifikasi indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, indikasi masalah mungkin ditemukan lebih awal.
Keunggulan teknis pendekatan tersebut adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan sinyal internal yang tersedia. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, pemilihan sinyal internal perlu diperhatikan untuk menjaga relevansi hasil.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Sistem keamanan ini memanfaatkan proses pemeriksaan berlapis. Ketika agen sedang bekerja, detektor internal memeriksa sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Tahap analisis tambahan membantu menilai apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan langkah penanganan ketika indikator muncul. Pengaturan respons ini meliputi penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, administrator dapat meminta pemeriksaan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Berdasarkan angka yang diumumkan, sistem berhasil mendeteksi 94 persen sesi peretasan berbahaya. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Angka tersebut menggambarkan kemungkinan false positive. Dengan demikian, sistem perlu menyeimbangkan tingkat kesalahan peringatan.
Dalam evaluasi efisiensi, Goodfire mengumumkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe menghabiskan dana kurang lebih US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, hasilnya belum otomatis berlaku pada semua model. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menerapkan sistem secara luas.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Dengan dukungan ekosistem Baseten, pelanggan memiliki kesempatan menggunakan detektor risiko berbasis model ketika mengoperasikan model AI. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada model terbuka karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Tidak hanya untuk mengawasi risiko peretasan, sistem klasifikasi aktivasi juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Kategori tersebut antara lain penyalahgunaan terkait senjata kimia dan biologis, reward hacking, dan penyalahgunaan kemampuan keamanan komputer. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Pengembangan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Dengan menganalisis representasi numerik selama pemrosesan, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, kebutuhan pengujian independen tetap perlu diperhatikan. Oleh karena itu, sistem probe perlu diterapkan bersama evaluasi tindakan eksternal. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai pentingnya pengawasan agen otomatis.
