Ketika George Orwell menulis 1984, ia membayangkan dunia di mana negara mengawasi setiap gerak warganya. Kamera ada di mana-mana, bahasa dikendalikan, dan pikiran pun diawasi.
Dulu kita menganggapnya fiksi yang terlalu gelap, semacam peringatan ekstrem agar kita tetap waspada terhadap totalitarianisme. Tapi hari ini, dunia Orwellian itu tak lagi tinggal dalam imajinasi. Ia menjelma dalam sistem digital yang tenang, rapi, dan sah secara hukum—termasuk dalam bentuk kontrak antara ICE (lembaga imigrasi dan bea cukai AS ) dan Palantir di Amerika Serikat.
Palantir, perusahaan teknologi yang kerap dipakai oleh lembaga-lembaga negara untuk keperluan analitik data dan intelijen, menandatangani kontrak senilai 96 juta dolar dengan ICE. Tugas utamanya adalah membangun dan mengembangkan sistem Investigative Case Management (ICM), yang memungkinkan pengawasan dan pelacakan individu berdasarkan kumpulan data sangat rinci.
Data itu berasal dari berbagai lembaga, mulai dari FBI, CIA, hingga lembaga keuangan. Tujuan sistem ini, secara tersurat, adalah melakukan “analisis menyeluruh terhadap populasi yang dikenal.” Tapi kita tahu, dalam praktiknya, sistem ini bisa dengan mudah menjelma jadi alat yang kejam.
Kontrak ini muncul di tengah peningkatan penahanan dan deportasi yang disebut-sebut brutal, yang bukan cuma terhadap imigran ilegal, tapi juga pemegang visa, pelajar asing, bahkan penduduk tetap yang menyuarakan pendapat bertentangan dengan kebijakan luar negeri AS. Beberapa dari mereka dikabarkan dibawa ke kamp penahanan di luar negeri tanpa pemberitahuan kepada keluarga atau kuasa hukum.
Dalam lanskap seperti itu, artificial intelligence (AI) bukan lagi sekadar sistem cerdas yang membantu manusia, melainkan alat kekuasaan untuk mengidentifikasi, menilai, dan menindak individu; bahkan sebelum mereka melakukan pelanggaran apa pun.
Kita sering mendengar bahwa teknologi itu netral. Bahwa yang membuatnya baik atau buruk adalah manusia yang memakainya. Tapi kasus Palantir menantang pandangan itu.
Palantir tidak cuma menyediakan perangkat lunak, tapi membangun seluruh infrastruktur pengawasan. Mereka aktif mempromosikan diri sebagai perusahaan yang “membangun untuk mendominasi.”
Dalam salah satu pernyataannya, Direktur ICE bahkan menyatakan keinginannya agar ICE bekerja seperti “Amazon Prime, tapi dengan manusia.” Ini bukan sekadar metafora keliru. Ini adalah cermin dari cara berpikir baru yang menggabungkan efisiensi logistik dengan operasi penahanan manusia.
Ketika algoritma dipakai untuk menentukan siapa yang mencurigakan, siapa yang patut diawasi, dan siapa yang bisa disingkirkan dari masyarakat, kita sedang bergerak menuju bentuk baru kekuasaan yang tidak transparan, tidak akuntabel, dan nyaris tak terlihat.
Pengawasan tak lagi membutuhkan kamera di tiap sudut. Ia tinggal dalam sistem data besar dan kode algoritmik yang kita tidak bisa lihat—tapi bisa sangat mematikan.
Kita bisa saja berpikir: ini masalah Amerika, biarkan mereka yang mengurusnya. Tapi teknologi tak mengenal batas negara.
Ketika satu negara mulai mempraktikkan pengawasan massal dengan bantuan AI, negara lain akan belajar, meniru, dan memperhalus praktiknya. Di tangan pemerintah yang tidak demokratis, atau bahkan yang demokratis tapi lemah dalam pengawasan internal, sistem seperti ini bisa menjadi senjata ampuh untuk menekan perbedaan pendapat, membungkam oposisi, dan meredam keberagaman.
Bayangkan kalau sistem seperti ICM dipakai di negara lain untuk mengawasi jurnalis, aktivis, atau kelompok minoritas. Semua bisa dibungkus dalam retorika keamanan nasional, stabilitas sosial, atau efisiensi administratif. Dan karena alatnya memakai AI, selalu ada kesan bahwa keputusan itu objektif, padahal kita tahu algoritma juga bisa dibangun dengan bias dan kepentingan tersembunyi.
Di sinilah letak tantangan kita hari ini. Ketika AI menjadi semakin canggih, kita dituntut untuk tidak cuma memikirkan soal kecerdasannya, tapi juga soal moralitasnya. Manusia yang mengembangkan dan memakai AI harus memikul tanggung jawab yang setimpal dengan kekuatan yang mereka kendalikan.
Kita bisa mengembangkan AI untuk memajukan kesehatan, pendidikan, dan kesejahteraan. Tapi kita juga bisa -dan terbukti sudah- memakainya untuk mengawasi, menilai, dan menghukum.
Pilihan itu bukan pilihan teknologi. Ia adalah pilihan etis. Dan karena itu, ia adalah pilihan politik.
Esai ini bukan tentang Amerika. Ini tentang kita semua. Tentang masa depan yang sedang kita bentuk hari ini.
Semakin canggih AI yang kita bangun, semakin besar tanggung jawab kita untuk memastikan ia tidak dipakai untuk menindas.
Kita tak butuh teleskrin di setiap rumah untuk hidup dalam negara pengawas. Cukup satu sistem, satu kontrak, dan satu alasan keamanan nasional, dan kita semua bisa jadi angka di balik layar. Maka, ketika kita bicara soal masa depan AI, kita juga harus bicara soal siapa yang mengawasi para pengawas. Dan apa yang terjadi kalau kita berhenti bertanya.
