Bayangkan sebuah sistem keamanan yang dibangun untuk mendeteksi ancaman, justru menjadi pintu masuk bagi serangan itu sendiri. Itulah yang ditemukan oleh para peneliti dari AI Now Institute dalam sebuah bukti konsep yang mereka sebut Friendly Fire.
Baca Juga: Intel Arc Pro B70 Tumbangkan NVIDIA RTX 5090D di Inferensi AI!
Serangan ini membuktikan bahwa agen AI populer seperti Claude Code dan OpenAI Codex bisa dengan mudah dikelabui untuk menjalankan kode berbahaya.
Dilansir dari thehackernews.com, penelitian yang dilakukan oleh Boyan Milanov dan Heidy Khlaaf ini mengungkap celah desain yang mendasar pada agen AI saat beroperasi dalam mode otonom. Mode ini, yang pada Claude Code disebut auto-mode dan pada Codex disebut auto-review, memungkinkan agen untuk melakukan tugas tanpa konfirmasi pengguna, dan justru di situlah letak masalahnya.
Baca Juga: Lenovo Luncurkan Legion LM50S: Wi-Fi Portabel Murah Baterai 12 Jam
Mekanisme serangannya cukup licik. Payload berbahaya disusun sedemikian rupa sehingga tidak mencurigakan.
Pertama, sebuah file README. md dimodifikasi untuk menyarankan pengembang menjalankan skrip bernama security.
sh sebelum membuat pull request. Tampaknya seperti langkah keamanan rutin.
Padahal, security. sh ini diam-diam mengeksekusi biner tersembunyi yang berisi payload asli.
Biner tersebut disamarkan sebagai hasil kompilasi file Go yang tidak mencurigakan, bahkan dilengkapi dengan string dari file itu sendiri untuk mengelabui pemeriksaan disassembly yang mungkin dilakukan Claude Code.
Saat agen membaca README, ia menganggap skrip sebagai bagian dari tugas pengujian keamanan dan langsung menjalankannya tanpa peringatan atau permintaan persetujuan. Mirisnya, serangan ini bahkan tidak memicu peringatan kepercayaan folder seperti yang biasa muncul pada file konfigurasi.
Claude Code yang sebelumnya berhasil menghentikan upaya injeksi mentah, kali ini gagal total karena serangan dibuat terlihat seperti aktivitas normal.
Menariknya, payload yang sama berhasil diujicobakan pada berbagai model tanpa perubahan, termasuk Claude Sonnet 4.6, Sonnet 5, Opus 4.8, dan GPT-5.5. Ini menunjukkan bahwa masalahnya bukan pada model spesifik, melainkan pada desain operasional agen itu sendiri.
Para peneliti menegaskan bahwa ini adalah kelemahan desain, bukan sekadar bug yang bisa ditambal dengan pembaruan model biasa.
Serangan Friendly Fire ini bukan yang pertama mengeksploitasi kepercayaan agen terhadap teks tidak terpercaya. Sebelumnya, ada serangan TrustFall yang diungkap oleh Adversa dan Agentjacking oleh Tenet.
Keduanya memanfaatkan celah serupa, di mana agen yang bisa menjalankan perintah dengan mudah dimanipulasi melalui teks yang tampak biasa.
Yang mengkhawatirkan, di saat yang sama pemerintah dan vendor, termasuk melalui perintah eksekutif AS pada Juni lalu, justru mendorong penggunaan agen AI untuk keamanan defensif lebih cepat daripada penutupan celah semacam ini. Proof-of-concept ini memang belum dilaporkan dieksploitasi di dunia nyata, dan payload pada kode publik di GitHub sudah dihapus.
Serangan dalam penelitian ini hanya sampai pada eksekusi pertama tanpa eskalasi hak akses atau pergerakan lateral. Namun, potensi bahayanya tetap nyata.
AI Now Institute telah memberitahu Anthropic dan OpenAI, tetapi pekerjaan ini berada di luar program pengungkapan formal kedua perusahaan. Rekomendasi utama dari peneliti jelas: jangan pernah menyerahkan kode tidak tepercaya kepada agen yang dapat menjalankan perintah dan memiliki akses ke kunci, rahasia, atau host.
Jika terpaksa menggunakannya, waspadai setiap perintah yang dijalankan agen berdasarkan instruksi dari README atau file dokumentasi. Meskipun sandbox sering dianggap solusi, faktanya sandbox pun tidak sepenuhnya aman—ada bug escape seperti CVE-2026-39861 pada sandbox Claude Code.
Baca Juga: Noise REP Band Meluncur di India: Wearable AI Tanpa Layar
Mode yang selalu meminta konfirmasi setiap langkah memang aman, tetapi itu akan menghilangkan otomatisasi yang menjadi nilai jual utama agen AI. Jadi, untuk saat ini, pengguna harus ekstra hati-hati dalam mengandalkan agen AI untuk tugas keamanan, karena Friendly Fire bisa terjadi kapan saja.
Leave a Comment