Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire meluncurkan pendekatan inside-out monitoring yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini menjadi perhatian karena kemampuan agen AI terus meningkat. Ketika digunakan untuk menjalankan pekerjaan, agen AI berpotensi menyelesaikan tugas bertahap dengan pengawasan manusia yang terbatas. Perkembangan ini mendukung efisiensi pekerjaan, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.
Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada respons akhir agen AI. Melalui pendekatan berbeda, teknologi tersebut membaca representasi numerik yang muncul selama pemrosesan. Data aktivasi tersebut berpotensi memperlihatkan indikasi mengenai arah perilaku model. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Walaupun teknologi tersebut menawarkan keuntungan, kemampuan sistem perlu diuji pada berbagai kondisi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu model klasifikasi khusus yang memeriksa aktivasi internal model AI. Selama sistem menghasilkan respons, jaringan saraf membentuk pola sinyal pada lapisan pemrosesan. Aktivasi yang terbentuk dapat mencerminkan proses pengolahan informasi. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mendeteksi aktivitas berisiko. Pada pemantauan tindakan digital, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Melalui mekanisme tersebut, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Keunggulan teknis pendekatan tersebut adalah pemanfaatan komputasi yang telah tersedia. Pada metode konvensional, sistem pengawas berbasis bahasa perlu menganalisis kembali teks yang dihasilkan agen. Pendekatan pemeriksaan ulang ini dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan sinyal internal yang tersedia. Oleh karena itu, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, kualitas probe harus dievaluasi untuk memastikan pengawasan sesuai risiko.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Goodfire menerapkan mekanisme pengawasan bertahap. Pada tahap awal, sistem klasifikasi membaca aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, hasil deteksi dapat dikirim kepada komponen evaluasi yang lebih mendalam. Pemeriksaan kedua digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.
Tidak hanya menemukan aktivitas mencurigakan, pengelola sistem dapat menentukan langkah penanganan ketika indikator muncul. Pilihan tersebut meliputi penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Pada sistem AI yang digunakan untuk pekerjaan, asisten digital pengembang mungkin memperoleh akses repositori kode. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out dievaluasi pada model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, sistem berhasil mendeteksi 94 persen sesi peretasan berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas tidak berbahaya teridentifikasi sebagai potensi masalah. Hasil ini menunjukkan adanya peringatan yang tidak tepat. Oleh sebab itu, sistem perlu menyeimbangkan efektivitas dan kenyamanan penggunaan.
Dalam evaluasi efisiensi, Goodfire melaporkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe memerlukan pengeluaran sekitar US$51. Dalam pengujian pembanding, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan latensi waktu menuju respons pertama kurang dari 2 persen. Meskipun angka tersebut menarik, performa dapat berbeda pada lingkungan lain. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi pelanggan Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan pengawasan aktivasi internal ketika mengoperasikan model AI. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, organisasi berpotensi meningkatkan mekanisme keamanan saat inferensi.
Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih antara lain penyalahgunaan terkait senjata kimia dan biologis, reward hacking, dan aktivitas peretasan tanpa izin. Dalam pengembangan agen AI, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, model dapat mengeksploitasi kelemahan lingkungan pengujian. Melalui deteksi risiko secara dini, administrator berpotensi mengetahui tanda masalah sebelum aktivitas berkembang menjadi insiden.
Kesimpulan tentang Teknologi Pemantauan Internal Goodfire
Pengembangan teknologi pemantauan internal Goodfire memperlihatkan arah baru dalam teknologi interpretabilitas kecerdasan buatan. Melalui pemeriksaan aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali pola penyimpangan model tanpa harus memeriksa seluruh keluaran menggunakan model besar. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, perbedaan karakteristik antar-model tetap perlu diperhatikan. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pembatasan izin agen. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Mari berbagi pemikiran mengenai masa depan sistem kecerdasan buatan yang lebih aman.
