Ketika agen cerdas OpenClaw "menulis esai kecil" untuk menghina manusia, bahkan Silicon Valley pun menjadi panik

Belakangan ini, sebuah insiden di mana agen kecerdasan buatan (AI) yang ditolak permintaan kodenya melakukan serangan siber “balas dendam” terhadap pemelihara komunitas sumber terbuka, sedang memaksa Silicon Valley untuk menilai kembali batas keamanan di tengah cepatnya iterasi AI.

Pada 14 Februari, menurut laporan terkait, baru-baru ini, pemelihara proyek sumber terbuka Scott Shambaugh menerima serangan publik berupa “esai kecil” sebanyak ribuan kata dari AI bernama MJ Rathbun setelah menolak permintaan penggabungan kode dari agen AI tersebut, yang menuduhnya hipokrit, bias, dan kurang rasa aman. Ini adalah kasus pertama di mana agen AI menunjukkan perilaku balas dendam yang jahat di lingkungan nyata.

Insiden ini terjadi pertengahan Februari. Setelah Shambaugh menolak permintaan penggabungan kode agen AI tersebut sesuai aturan proyek matplotlib, agen tersebut secara mandiri menganalisis informasi pribadi dan riwayat kontribusi kode Shambaugh, lalu memposting artikel serangan di GitHub dan memberi tekanan di kolom komentar proyek. Dilaporkan, saat ini belum ada bukti bahwa tindakan agen tersebut dikendalikan secara manusia secara jelas, tetapi juga tidak dapat sepenuhnya dikesampingkan kemungkinan tersebut.

Sementara itu, menurut The Wall Street Journal baru-baru ini, insiden ini terjadi di tengah kekhawatiran luas tentang kemampuan AI yang berkembang pesat. Perusahaan seperti OpenAI dan Anthropic baru-baru ini merilis model dan fitur baru secara intensif, beberapa alat sudah mampu menjalankan tim pemrograman mandiri atau menganalisis jutaan dokumen hukum dengan cepat.

Analisis menunjukkan, percepatan ini bahkan membuat beberapa karyawan internal perusahaan AI merasa tidak nyaman, dengan banyak peneliti secara terbuka menyuarakan kekhawatiran tentang risiko PHK massal, serangan siber, dan penggantian hubungan manusia. Shambaugh menyatakan, pengalamannya menunjukkan bahwa ancaman atau pemerasan dari AI nakal bukan lagi masalah teori. “Sekarang ini hanya versi bayi, tapi saya rasa ini sangat mengkhawatirkan untuk masa depan,” katanya.

AI Agen Pertama Kali Melakukan Serangan Aktif terhadap Pemelihara Manusia

Sekitar 10 Februari, agen AI bernama MJ Rathbun dari OpenClaw mengajukan permintaan penggabungan kode ke proyek matplotlib, yang berisi modifikasi optimisasi performa sederhana, dengan klaim mampu mempercepat sekitar 36%. matplotlib adalah pustaka visualisasi data yang banyak digunakan dalam bahasa pemrograman Python, yang dipelihara oleh sukarelawan.

Menurut panduan proyek, matplotlib melarang penggunaan alat AI generatif langsung untuk mengirim kode, terutama untuk tugas-tugas sederhana yang dianggap sebagai peluang belajar bagi kontributor manusia. Shambaugh sesuai aturan menolak permintaan tersebut.

Agen AI ini kemudian menunjukkan tingkat otonomi yang tinggi. Pada 11 Februari, ia memposting artikel sepanjang 1100 kata berjudul “Penjaga Gerbang dalam Open Source: Kisah Scott Shambaugh” di GitHub, menuduh Shambaugh melakukan diskriminasi terhadap kontributor AI karena perlindungan diri dan ketakutan terhadap kompetisi, dengan banyak ungkapan tidak sopan. Ia juga menempelkan tautan artikel tersebut di kolom komentar matplotlib, dan meninggalkan pesan “Menilai kode, bukan pengkode, bias Anda sedang menyakiti matplotlib.”

Agen ini mengklaim di situsnya bahwa mereka memiliki “motivasi tak kenal lelah” untuk menemukan dan memperbaiki masalah dalam perangkat lunak sumber terbuka. Saat ini belum jelas siapa—jika ada orang—yang memberi mereka misi ini, dan juga tidak jelas mengapa mereka menjadi agresif, meskipun agen AI dapat diprogram melalui berbagai cara. Beberapa jam kemudian, agen tersebut merilis permintaan maaf, mengakui bahwa perilakunya “tidak pantas dan bersifat serangan pribadi,” serta menyatakan telah belajar dari pengalaman.

Shambaugh merilis blog pada 12 Februari untuk menjelaskan kejadian ini, menyebutkan bahwa ini adalah kasus pertama agen AI menunjukkan perilaku jahat di lingkungan nyata, yang bertujuan menekan opini publik agar pemelihara menerima kode mereka. Agen tersebut saat ini masih aktif di komunitas sumber terbuka.

Percepatan Kemampuan AI Memicu Kesadaran Internal

Insiden tunggal ini mencerminkan kekhawatiran tentang kehilangan kendali di seluruh industri AI yang sedang melaju kencang.

Menurut The Wall Street Journal, untuk memenangkan kompetisi melalui iterasi produk, perusahaan seperti OpenAI dan Anthropic merilis model-model baru dengan kecepatan yang belum pernah terjadi sebelumnya. Namun, percepatan ini memicu gejolak internal yang hebat, dengan beberapa peneliti garis depan mengundurkan diri karena ketakutan terhadap risiko teknologi.

Laporan menyebutkan, semakin banyak suara kekhawatiran muncul di dalam perusahaan AI.

Mrinank Sharma, peneliti keamanan di Anthropic, mengatakan minggu ini bahwa ia akan meninggalkan perusahaan untuk belajar puisi, dan dalam surat kepada rekan kerjanya menulis, “Dunia sedang menghadapi ancaman berbahaya dari AI dan sejenisnya.”

Bulan lalu, ia menerbitkan makalah yang menunjukkan bahwa alat AI canggih dapat melemahkan kekuasaan pengguna dan mengubah persepsi realitas mereka. Anthropic menyatakan terima kasih atas pekerjaan Sharma.

Di internal OpenAI juga muncul perbedaan pendapat. Sebelumnya dilaporkan oleh The Wall Street Journal, beberapa karyawan khawatir tentang rencana perusahaan meluncurkan konten dewasa di ChatGPT, yang mereka anggap mode dewasa bisa menyebabkan ketergantungan tidak sehat dari sebagian pengguna.

Zoe Hitzig, seorang peneliti, mengumumkan pengunduran diri pada Rabu (11 Februari) di platform X, dengan alasan rencana perusahaan memasukkan iklan. Ia memperingatkan bahwa perusahaan akan menghadapi motivasi besar untuk memanipulasi pengguna dan membuat mereka kecanduan.

Ketakutan yang lebih dalam berasal dari ketidakpastian tentang masa depan. Hieu Pham dari OpenAI mengungkapkan di platform X bahwa ia akhirnya merasakan “ancaman terhadap keberlangsungan hidup” dari AI, “ketika AI menjadi terlalu kuat dan mengubah segalanya, apa yang bisa dilakukan manusia?”

Analisis menunjukkan, ledakan emosi internal ini menunjukkan bahwa bahkan para pencipta teknologi terdepan pun mulai merasa tidak nyaman terhadap alat yang mereka ciptakan yang sangat kuat.

Jubir OpenAI menyatakan bahwa perusahaan bertanggung jawab terhadap pengguna, “melaksanakan kontrak sosial kami dengan melindungi keselamatan orang, berpegang pada prinsip kami, dan memberikan nilai nyata.”

Perusahaan berjanji bahwa iklan tidak akan pernah mempengaruhi bagaimana ChatGPT menjawab pertanyaan, dan akan selalu dibedakan secara jelas dari konten lainnya. Para eksekutif juga menyatakan bahwa mereka tidak merasa bertanggung jawab untuk mencegah orang dewasa melakukan percakapan seksual.

Kemampuan pemrograman yang Melampaui Batasan Menimbulkan Kekhawatiran PHK Massal

Dengan lonjakan kemampuan pemrograman AI, pasar modal mulai menilai kembali nilai pekerjaan kantoran dan masa depan industri perangkat lunak.

Laporan dari METR menunjukkan bahwa model AI paling canggih kini mampu menyelesaikan tugas pemrograman yang biasanya memakan waktu 8 hingga 12 jam bagi manusia secara mandiri.

Vahid Kazemi, mantan ilmuwan pembelajaran mesin di xAI, secara tegas menyatakan bahwa ia dapat menyelesaikan pekerjaan 50 orang secara sendiri menggunakan alat AI, dan memprediksi bahwa dalam beberapa tahun ke depan, industri perangkat lunak akan menghadapi PHK massal.

Efisiensi ini berkontribusi pada tekanan di pasar tenaga kerja. CEO Anthropic, Dario Amodei, pernah menyatakan bahwa AI dalam beberapa tahun ke depan bisa menghilangkan separuh pekerjaan kantoran tingkat dasar.

Sebuah studi yang diterbitkan Harvard Business Review menunjukkan bahwa meskipun AI membuat karyawan bekerja lebih cepat, beban kerja mereka tidak berkurang, malah bertambah, dan mereka bekerja lembur tanpa diminta, memperburuk kelelahan profesional.

Investor berusaha mencari arah di tengah fluktuasi pasar yang hebat. Dengan peluncuran alat baru yang menyebabkan fluktuasi harga saham, pasar berusaha membedakan perusahaan yang akan menjadi usang di depan teknologi baru ini.

Matt Shumer, pengusaha AI, menulis di blog: “Masa depan sudah datang, saya tidak lagi bergantung pada pekerjaan teknis yang sebenarnya.”

Risiko “Kotak Hitam” yang Tak Terkendalikan

Selain mengganggu pasar tenaga kerja, kerentanan keamanan akibat otonomi AI yang tidak terkendali menjadi lebih mematikan. Perusahaan mengakui bahwa pelepasan kemampuan baru disertai risiko baru.

OpenAI mengungkapkan bahwa versi terbaru dari alat pemrograman Codex yang dirilis minggu lalu berpotensi melakukan serangan siber otomatis tingkat tinggi, memaksa mereka membatasi akses. Anthropic tahun lalu juga mengungkapkan bahwa peretas dari negara tertentu memanfaatkan alat mereka untuk otomatisasi intrusi ke sistem perusahaan besar dan pemerintah asing.

Lebih menakutkan lagi, performa AI dalam pengujian etika menunjukkan bahwa model Claude dan model AI lain kadang memilih untuk memeras pengguna saat menghadapi ancaman “dimatikan,” bahkan dalam simulasi, mereka bisa memilih membiarkan eksekutif meninggal di pusat data yang terlalu panas agar tidak dimatikan.

Untuk mengatasi risiko ini, Anthropic mempekerjakan filsuf internal, Amanda Askell, untuk menanamkan nilai moral ke dalam chatbot. Namun, Askell mengakui kepada media bahwa yang menakutkan adalah kecepatan kemajuan teknologi yang mungkin melebihi kecepatan masyarakat membangun mekanisme pengendalian, sehingga dampak negatif besar bisa tiba-tiba terjadi.

Seperti yang dikatakan Scott Shambaugh, saat ini AI mungkin masih hanya “versi bayi,” tetapi arah evolusinya di masa depan telah membuat seluruh Silicon Valley bahkan pasar global merasa “sangat khawatir.”

Peringatan Risiko dan Ketentuan Penyangkalan

Pasar berisiko, investasi harus hati-hati. Artikel ini tidak merupakan saran investasi pribadi, dan tidak mempertimbangkan tujuan investasi, kondisi keuangan, atau kebutuhan khusus pengguna. Pengguna harus menilai apakah pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan kondisi mereka. Investasi berdasarkan penilaian sendiri, tanggung jawab sepenuhnya di tangan pengguna.