Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan sistem pemantauan internal yang dirancang untuk mendeteksi potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memperoleh sorotan karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Perkembangan ini membuka peluang otomatisasi, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.
Tidak seperti pendekatan pemeriksaan keluaran, teknologi Goodfire tidak hanya membaca respons akhir agen AI. Sebagai alternatif, sistem menganalisis aktivasi internal jaringan saraf. Sinyal internal ini memungkinkan pengenalan pola mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Melalui rancangan tersebut, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu model klasifikasi khusus yang memeriksa representasi numerik jaringan saraf. Selama sistem menghasilkan respons, jaringan saraf membentuk pola sinyal pada lapisan pemrosesan. Sinyal tersebut memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Detektor aktivasi kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.
Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa perlu menganalisis kembali rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan aktivasi selama proses komputasi. Dengan demikian, beban pengawasan dapat dikurangi. Sekalipun metode tersebut dirancang hemat, pemilihan sinyal internal perlu diperhatikan untuk memastikan pengawasan sesuai risiko.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Pada tahap awal, sistem klasifikasi membaca aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, aktivitas tersebut dapat diteruskan kepada model pemeriksa tambahan. Tahap analisis tambahan digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, pemeriksaan mahal hanya digunakan ketika diperlukan.
Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Pilihan tersebut dapat mencakup penyimpanan laporan kejadian, eskalasi ke petugas keamanan, atau penolakan permintaan berisiko. Pada sistem AI yang digunakan untuk pekerjaan, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan lingkungan pengujian. Apabila aktivitas berbahaya terdeteksi, pengawasan dapat memicu tindakan pencegahan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Dalam pengujian yang dilaporkan, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Angka tersebut memperlihatkan bahwa masih terdapat false positive. Karena kondisi tersebut, administrator perlu mengevaluasi kemampuan menemukan ancaman.
Dari sisi biaya, Goodfire melaporkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe membutuhkan biaya sekitar US$51. Dalam pengujian pembanding, model tambahan kelas ringan menghabiskan dana sekitar US$233, sedangkan model pemeriksa kelas atas menghabiskan biaya mendekati US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Salah satu langkah penerapan adalah ketersediaan teknologi Goodfire bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai layanan komputasi bagi penerapan model AI. Melalui kerja sama tersebut, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika mengoperasikan model AI. Sistem pemantauan ini dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, sistem klasifikasi aktivasi juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Kategori tersebut mencakup risiko keselamatan kimia serta biologi, reward hacking, dan penyalahgunaan kemampuan keamanan komputer. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Sebagai contoh, model dapat mengeksploitasi kelemahan lingkungan pengujian. Dengan memahami pola tersebut, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Kesimpulan tentang Teknologi Pemantauan Internal Goodfire
Peluncuran pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Melalui pemeriksaan sinyal komputasi model, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire memberikan gambaran efektivitas terhadap 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan menjadi standar keamanan agen AI masa depan? Silakan bagikan pendapat Anda mengenai perkembangan teknologi keamanan AI.
