Saat Mesin Digital Memutuskan Nasib Manusia

Dalam beberapa tahun terakhir, kecerdasan buatan atau AI masuk ke ruang pengambilan keputusan. Fenomena ini terlihat antara lain pada rekrutmen karyawan, layanan keuangan, dan layanan publik digital. Prosesnya cepat, tetapi alasan keputusan sering tidak terlihat.

Laporan Jobscan tahun 2025 menyebut 99 persen perusahaan Fortune Global 500 memakai Applicant Tracking System (ATS) untuk menyaring pelamar kerja[1]. CV pelamar dipindai, dicocokkan dengan kata kunci, lalu kandidat dinyatakan lolos atau gugur dalam hitungan detik. Bagi perusahaan, ini efisien.

Namun bagi pelamar, rasanya seperti vonis tanpa sidang. Tidak ada wawancara, tidak ada ruang untuk menjelaskan konteks, dan sering tidak ada umpan balik. Penolakan tanpa penjelasan dapat mematahkan semangat, dan perlahan mengikis kepercayaan diri para pelamar.

Baca juga: 7 Menteri Sahkan Aturan Penggunaan AI dalam Pendidikan

Pola serupa muncul pada layanan keuangan digital. Penilaian kredit memakai data di luar perbankan yang diproses oleh sistem otomatis.

Otoritas Jasa Keuangan (OJK) mencatat outstanding pinjaman daring per Agustus 2025 sebesar Rp87,61 triliun dengan Tingkat Wanprestasi 90 hari (TWP90) sebesar 2,60 persen.

Meski angka ini masih di bawah batas 5 persen[2], namun di balik angka yang tampak stabil itu ada pelaku UMKM yang ditolak tanpa tahu sebabnya. Mereka tidak tahu apa yang harus diperbaiki agar lolos pada pengajuan berikutnya. Mereka tidak bisa menguji penilaiannya, dan tidak punya jalur untuk menyampaikan perubahan kondisi.

Misalnya, usaha baru pulih dan arus kas sudah membaik, atau model bisnis berubah, tetapi rekam jejak lama masih membayang. Akibatnya, rencana usaha yang sebenarnya layak jadi tertunda, ekspansi gagal, dan sebagian kembali ke pinjaman informal dengan bunga yang mencekik.

Fenomena ini menunjukkan bahwa AI yang semula alat bantu telah berubah menjadi penjaga pintu gerbang. Mesin menjadi penyaring awal yang menentukan siapa boleh melangkah masuk, dan siapa harus berhenti di depan pintu. Warga akhirnya berhadapan dengan layar dingin algoritma, bukan dengan wajah ramah manusia.

Ketika kebijakan dijalankan oleh mesin, maka relasi antara yang berkuasa dan yang dikuasai ikut bergeser. Pihak yang terdampak hanya menerima hasil akhirnya saja. Mereka tidak punya kesetaraan akses untuk memeriksa dasar keputusannya.

Baca juga: Apa Peran AI dalam Hadapi Tantangan Sistem Pangan Global?

Bila terjadi kesalahan, jalan untuk menggugat sering tidak jelas, dan proses perbaikan terasa melelahkan. Di sinilah rasa ketidakadilan muncul, dan kepercayaan publik pun turun.

Akuntabilitas Tetap Milik Manusia

Negara sudah menanggapi kekhawatiran soal tanggung jawab. Misalnya, OJK menerbitkan POJK 29/2024 tentang Pemeringkat Kredit Alternatif. Aturan ini memberi kerangka tata kelola, pengawasan, dan kepatuhan untuk pemeringkatan berbasis teknologi.

Kominfo juga menerbitkan Surat Edaran Nomor 9/2023 tentang etika kecerdasan artifisial. Pelaku usaha wajib memastikan keputusan sistem dapat dijelaskan, diaudit, dan dipertanggungjawabkan kepada pihak terdampak.

Namun regulasi saja tidak cukup bila akuntabilitas “hilang” saat dijalankan. Dibutuhkan penanggung jawab yang nyata dan komunikatif. Untuk keputusan yang berdampak pada hak dan mata pencaharian warga, AI sebaiknya dipakai sebagai bagian dari tata kelola, bukan hanya dijadikan sebagai standar tunggal.

Baca juga: Investasi AI Masih Berlanjut, Ini Survei KPMG pada 100 CEO Perusahaan

Komite risiko dan kepatuhan perlu menilai manfaat, potensi bias, dan dampak sosial sebelum sistem dipakai, bukan setelah masalah terjadi. Di sini dibutuhkan jejak audit yang rapi, uji bias berkala, dan prosedur perbaikan ketika model terbukti keliru atau merugikan secara sistemik.

Setidaknya ada tiga pengaman yang perlu diuji. Pertama, penjelasan yang bisa dipahami orang awam, bukan sekadar angka atau skor. Kedua, jalur koreksi yang nyata, mudah diakses, dan tidak berputar-putar. Ketiga, mekanisme pertanggungjawaban jika sistem terbukti keliru atau merugikan.