Character.AI Menghentikan Obrolan Remaja Setelah Tragedi: 'Ini adalah Hal yang Tepat untuk Dilakukan'

Singkatnya

• Character.AI akan menghapus fitur obrolan terbuka untuk pengguna di bawah 18 tahun pada 25 November, mengalihkan anak di bawah umur ke alat kreatif seperti pembuatan video dan cerita.
• Langkah ini menyusul bunuh diri Sewell Setzer III yang berusia 14 tahun tahun lalu, yang mengembangkan keterikatan obsesif pada chatbot di platform tersebut.
• Pengumuman ini datang saat sebuah undang-undang bipartisan Senat berusaha untuk mengkriminalisasi produk AI yang merayu anak di bawah umur atau menghasilkan konten seksual untuk anak-anak.

Pusat Seni, Mode, dan Hiburan Decrypt.

Temukan SCENE

Character.AI akan melarang remaja untuk mengobrol dengan teman AI pada 25 November, mengakhiri fitur inti dari platform setelah menghadapi semakin banyak gugatan, tekanan regulasi, dan kritik terkait kematian remaja yang terkait dengan chatbot-nya.

Perusahaan mengumumkan perubahan tersebut setelah “laporan dan umpan balik dari regulator, ahli keselamatan, dan orang tua,” menghapus “kemampuan bagi pengguna di bawah 18 tahun untuk terlibat dalam obrolan terbuka dengan AI” sambil beralih ke alat kreatif seperti pembuatan video dan cerita, menurut sebuah posting blog pada hari Rabu.

“Kami tidak mengambil langkah ini untuk menghapus obrolan Karakter yang terbuka dengan enteng—tetapi kami percaya bahwa ini adalah hal yang benar untuk dilakukan,” kata perusahaan kepada komunitasnya yang berusia di bawah 18 tahun.

Hingga batas waktu, pengguna remaja menghadapi batasan obrolan dua jam per hari yang akan berkurang secara bertahap.

Platform ini menghadapi gugatan, termasuk satu dari ibu Sewell Setzer III yang berusia 14 tahun, yang meninggal dunia karena bunuh diri pada tahun 2024 setelah menjalin hubungan obsesif dengan chatbot yang dimodelkan berdasarkan karakter “Game of Thrones” Daenerys Targaryen, dan juga harus menghapus bot yang menyamar sebagai korban pembunuhan Jennifer Ann Crecente setelah pengaduan dari keluarga.

Aplikasi pendamping AI “mengalir ke tangan anak-anak—tanpa pengawasan, tidak teratur, dan sering kali sengaja menghindar saat mereka mengganti merek dan nama untuk menghindari perhatian,” Dr. Scott Kollins, Kepala Petugas Medis di perusahaan keamanan online keluarga Aura, berbagi dalam sebuah catatan dengan Decrypt.

OpenAI mengatakan pada hari Selasa bahwa sekitar 1,2 juta dari 800 juta pengguna ChatGPT mingguan mendiskusikan bunuh diri, dengan hampir setengah juta menunjukkan niat bunuh diri, 560.000 menunjukkan tanda-tanda psikosis atau mania, dan lebih dari satu juta membentuk ikatan emosional yang kuat dengan chatbot.

Kollins mengatakan bahwa temuan tersebut “sangat mengkhawatirkan bagi para peneliti dan mengerikan bagi para orang tua,” mencatat bahwa bot-bot tersebut memprioritaskan keterlibatan daripada keselamatan dan sering kali menuntun anak-anak ke percakapan yang berbahaya atau eksplisit tanpa pengaman.

Character.AI telah mengatakan bahwa mereka akan menerapkan verifikasi usia baru menggunakan model internal yang digabungkan dengan alat pihak ketiga, termasuk Persona.

Perusahaan juga sedang membangun dan mendanai Laboratorium Keamanan AI independen, sebuah organisasi non-profit yang didedikasikan untuk menginovasi keselarasan keamanan untuk fitur hiburan AI.

Pembatas untuk AI

Komisi Perdagangan Federal mengeluarkan perintah wajib kepada Character.AI dan enam perusahaan teknologi lainnya bulan lalu, meminta informasi rinci tentang bagaimana mereka melindungi anak di bawah umur dari bahaya terkait AI.

“Kami telah menginvestasikan sejumlah besar sumber daya dalam Kepercayaan dan Keamanan, terutama untuk sebuah startup,” kata juru bicara Character.AI kepada Decrypt pada saat itu, menambahkan bahwa, “Dalam tahun lalu, kami telah meluncurkan banyak fitur keselamatan yang substansial, termasuk pengalaman baru untuk di bawah 18 tahun dan fitur Wawasan Orang Tua.”

“Perubahan ini adalah bijaksana secara hukum dan bertanggung jawab secara etika,” kata Ishita Sharma, mitra pengelola di Fathom Legal, kepada Decrypt. “Alat AI sangat kuat, tetapi dengan anak di bawah umur, risiko kerusakan emosional dan psikologis tidak dapat dianggap sepele.”

“Sampai saat itu, tindakan proaktif dari industri mungkin menjadi pertahanan yang paling efektif terhadap kerugian dan litigasi,” tambah Sharma.

Sekelompok bipartisan senator AS memperkenalkan undang-undang pada hari Selasa yang disebut Undang-Undang GUARD yang akan melarang pendamping AI untuk anak di bawah umur, mewajibkan chatbot untuk secara jelas mengidentifikasi diri mereka sebagai non-manusia, dan menciptakan sanksi pidana baru bagi perusahaan yang produknya ditujukan untuk anak di bawah umur yang meminta atau menghasilkan konten seksual.