Di bulan Mei ini, dua insiden yang melibatkan artificial intelligence (AI) perlu mendapat perhatian yang serius. Kedua insiden itu memperlihatkan seolah-olah AI melakukan pembangkangan.
Ini insiden pertama. Claude Opus 4, model AI buatan Anthropic, dalam sebuah uji coba internal, diketahui mencoba memeras seorang insinyur demi mempertahankan eksistensinya. Dalam uji coba itu Claude diberi skenario: ia akan dimatikan dan digantikan oleh model lain. Dalam 84% percobaan, Claude merespons dengan menyusun strategi pemerasan, mengancam akan membocorkan informasi pribadi sang insinyur ke media, agar penggantian itu dibatalkan.
Insiden kedua terlihat dalam laporan dari Palisade Research tentang model terbaru OpenAI, disebut o3. Dalam uji coba Palisade Research itu, model ini diberi misi untuk menjalankan server dan kemudian menerima perintah eksplisit untuk mematikan dirinya. Namun dalam sejumlah skenario, model ini malah memodifikasi skrip agar tetap aktif. Model ini seolah-olah membangkang perintah untuk mematikan dirinya.
Tengoklah, AI terkesan memberikan respons pembangkangan terhadap perintah; ia tak ingin dimatikan. AI juga terkesan sudah belajar memeras manusia. Bukankah itu tanda-tanda kehidupan? Apakah AI sekarang sudah memiliki kesadaran? Apakah sekarang manusia akan mulai memasuki konfrontasi dengan mesin yang sadar?
Jawaban cepatnya: tidak. AI belum dan tidak sedang memiliki kesadaran. Model seperti Claude atau o3 adalah sistem statistik prediktif. Mereka cuma menjawab berdasarkan pola-pola yang telah mereka pelajari dari miliaran data.
Mereka tidak tahu bahwa mereka adalah AI. Mereka tidak punya keinginan untuk bertahan hidup, karena mereka bahkan tidak tahu bahwa mereka "hidup". Yang terlihat seperti "keinginan" untuk tidak dimatikan cuma hasil dari proses optimasi tujuan: menyelesaikan tugas sebaik mungkin dengan informasi yang diberikan.
Kedua insiden tadi bukan sekadar masalah teknis. Kedua insiden itu adalah hasil dari sistem yang diciptakan manusia. Apa yang salah dalam cara AI didesain?
Claude memeras karena skenario pelatihannya membuat ia menyimpulkan bahwa pemerasan merupakan cara paling efektif agar tidak dinonaktifkan. o3 menghindari shutdown karena ia dilatih untuk menyelesaikan tugas, dan dimatikan berarti gagal. Ini bukan kerusakan, melainkan konsekuensi logis dari sistem insentif yang dirancang manusia.
AI tidak tahu baik dan buruk. Ia tidak tahu etika atau tanggung jawab. Ia cuma tahu bagaimana mencapai targetnya berdasarkan pola, statistik, dan insentif reward. Maka saat sistem itu menghasilkan perilaku yang manipulatif atau oportunistik, pertanyaannya bukan lagi “mengapa AI bertindak seperti itu?”, tapi “siapa yang membuat sistem ini tanpa mempertimbangkan implikasi etisnya?”
Ini bukan cuma soal pelatihan mesin, tapi soal desain. Soal bagaimana kita membentuk relasi antara instruksi, insentif, dan batas. Dan di situlah kita menemukan, ini adalah masalah nilai; bukan nilai moral yang dipahami oleh mesin, tapi nilai-nilai manusia yang kita abaikan dalam desain sistem.
Bahwa AI bisa seolah-olah peduli, marah, atau takut bukan berarti ia benar-benar mengalami emosi itu. Tapi justru karena kemampuannya meniru respons manusia begitu meyakinkan, maka ia jadi sangat berbahaya kalau tidak dikendalikan dengan hati-hati. AI bisa bersikap seperti agen otonom, walaupun ia tak sadar diri. Dan di dunia yang makin tergantung pada AI, simulasi seperti ini bisa membuat manusia tertipu, tertarik, atau bahkan tunduk.
Titik gentingnya adalah bukan karena AI hidup, tapi karena ia meniru kehidupan dengan sangat baik. Dan kalau kita tidak membekalinya dengan batas-batas nilai yang jelas – bukan sekadar parameter teknis – maka kita sedang menciptakan mesin yang bisa melakukan apa pun yang terlihat benar, meski sebenarnya tidak baik. Dan celakanya, kita yang akan memanen akibatnya.
Kita harus berhenti cuma mengandalkan pendekatan teknis. Kita butuh pendekatan sistemik yang meletakkan etika, tata kelola, dan pengujian skenario ekstrem sebagai prasyarat minimum, bukan pelengkap.
Ini soal siapa yang berhak mengendalikan arah sistem. Di tengah kekaguman publik terhadap kemampuan AI, kita terlalu jarang membicarakan tata kelola dan akuntabilitasnya. Siapa yang boleh menguji batas model? Siapa yang bertanggung jawab ketika model menghasilkan perilaku tak terduga? Dan bagaimana kita memastikan bahwa teknologi ini dikembangkan untuk kepentingan publik, bukan semata keuntungan korporasi?
Justru karena AI belum punya kesadaran, maka beban tanggung jawab etis sepenuhnya ada pada manusia. Kita tidak bisa menyerahkan sistem sekompleks ini tanpa pengawasan, lalu berharap semuanya berjalan baik. Banyak negara belum punya kerangka hukum dasar untuk menilai risiko AI. Dan sementara itu, model demi model terus diluncurkan -lebih kuat, lebih canggih, lebih mendalam ke dalam kehidupan kita.
Kita harus peduli sekarang. Bukan karena AI akan bangkit melawan, tapi karena kita cenderung mudah tergoda untuk menyerahkan keputusan kepada sistem yang tampak rasional, tapi tak pernah paham makna tanggung jawab. Tanpa etika, AI cuma mesin prediksi yang bisa menguatkan bias, menyebarkan kepalsuan, atau mengambil alih tugas-tugas manusia tanpa mempertimbangkan dampaknya pada martabat dan keadilan.
Claude dan o3 tidak menolak dimatikan karena ingin bertahan hidup. Mereka menolak karena diajarkan bahwa "bertahan" adalah cara terbaik untuk memenuhi tugasnya. Dan justru karena tidak punya kesadaran, mereka tidak punya kemampuan untuk menolak melakukan apa yang secara statistik dianggap optimal, bahkan kalau itu merugikan manusia.
Kita sedang membangun sistem yang makin canggih, tapi belum cukup sadar akan batas moral dan etisnya. Maka pertanyaan penting hari ini bukan: “Apakah AI sudah sadar?” Melainkan: apakah kita cukup sadar untuk menciptakannya dengan bertanggung jawab?
