Ancaman di Balik Teks Meyakinkan: Analisis Literatur Mengenai Risiko Halusinasi AI terhadap Keamanan Informasi

Latar Belakang

Perkembangan kecerdasan buatan (AI) generatif, khususnya Large Language Models (LLM), telah mengubah lanskap keamanan informasi secara fundamental. AI kini digunakan untuk berbagai tugas, mulai dari analisis kerentanan, pembuatan laporan keamanan, hingga deteksi anomali. Kemampuannya dalam menghasilkan teks yang koheren dan meyakinkan membuat AI menjadi alat yang sangat berharga bagi analis keamanan.

Namun, di balik kemampuannya, AI generatif menyimpan risiko yang sering kali diabaikan: halusinasi. Halusinasi AI adalah fenomena di mana model menghasilkan informasi yang faktual salah, namun disajikan dengan gaya bahasa yang sangat percaya diri dan meyakinkan. Dalam konteks keamanan informasi, halusinasi bisa berupa fabrikasi CVE (Common Vulnerabilities and Exposures), referensi palsu, atau bahkan saran mitigasi yang justru membahayakan.

Yang membuat halusinasi AI sangat berbahaya adalah faktor psikologis manusia. Studi menunjukkan bahwa manusia cenderung mempercayai teks yang mengalir lancar dan terdengar meyakinkan, bahkan ketika teks tersebut sepenuhnya fiktif. Fenomena ini dikenal sebagai Automation Bias dan Fluency Heuristic. Dalam dunia keamanan informasi, di mana keputusan harus diambil dengan cepat dan akurat, kepercayaan buta pada output AI bisa berakibat fatal.

Riset ini hadir untuk membedah risiko halusinasi AI secara komprehensif, dengan menggunakan pendekatan literatur-kontekstual yang menggabungkan sintesis literatur, pemetaan risiko, dan analisis kasus nyata. Riset ini merupakan bagian dari kontribusi intelektual Ujang Trisno, Direktur Riset Data Cyber Indonesia, dalam memperkuat kesadaran akan risiko AI di sektor keamanan informasi.

Rumusan Masalah

1. Bagaimana klasifikasi risiko halusinasi AI terhadap keamanan informasi berdasarkan tinjauan literatur?
2. Bagaimana dampak psikologis dan operasional halusinasi AI terhadap analis keamanan?
3. Bagaimana strategi mitigasi yang efektif untuk mengurangi risiko halusinasi AI dalam konteks keamanan informasi?

Tujuan

1. Mengklasifikasikan risiko halusinasi AI ke dalam tingkat-tingkat yang terukur.
2. Menganalisis dampak halusinasi AI pada analis keamanan dari perspektif psikologis dan operasional.
3. Merumuskan strategi mitigasi yang aplikatif untuk mengurangi risiko halusinasi AI.

Batasan Masalah

1. Riset ini menggunakan pendekatan literatur-kontekstual, tidak melakukan pengumpulan data primer.
2. Fokus analisis adalah pada risiko halusinasi AI dalam konteks keamanan informasi, bukan pada aspek teknis pengembangan AI.
3. Referensi utama berasal dari literatur akademik dan laporan teknis terverifikasi dalam rentang tahun 2026.

Tinjauan Pustaka

Kajian mengenai halusinasi AI telah berkembang pesat seiring dengan adopsi LLM. Zaatri (2026) dalam makalahnya di Zenodo menyoroti risiko "kepercayaan buta" pada AI generatif, termasuk halusinasi data, fabrikasi referensi, dan Slopsquatting (eksploitasi halusinasi paket perangkat lunak).

Ding, dkk. (2026) dalam survei arXiv:2608.25667 membahas krisis kepercayaan akibat halusinasi LLM dalam penilaian kerentanan siber. Temuan kuncinya: halusinasi menciptakan "AI slop" (kerentanan palsu, patch yang salah) yang membebani analis keamanan.

Hou (2026) dalam konferensi AAAI meneliti halusinasi dalam konteks keamanan siber, termasuk fabrikasi CVE, jalur eksploitasi fiktif, dan ringkasan reverse-engineering yang menyesatkan. IEEE Xplore (2026) dalam systematic literature review memberikan peringatan eksplisit bahwa halusinasi LLM harus diperlakukan sebagai risiko keamanan kritis.

Khan (2026) dalam risetnya di Aarhat Multidisciplinary International Education Research Journal menyediakan data empiris tentang mengapa manusia sulit mendeteksi halusinasi. Studi ini menemukan bahwa partisipan menilai teks yang sepenuhnya fiktif dengan akurasi 2.96/5, hampir setara dengan teks faktual (3.20/5).

Riset ini melengkapi kajian-kajian tersebut dengan menyajikan klasifikasi risiko yang terukur dan analisis kontekstual terhadap dampak halusinasi AI pada keamanan informasi.

Metodologi

Riset ini menggunakan pendekatan Analisis Literatur Berbasis Risiko (Risk-Based Literature Analysis), yang terdiri dari tiga tahap: (1) Sintesis Literatur, (2) Pemetaan Risiko, dan (3) Analisis Kasus Kontekstual.

Teknik Analisis

Data dianalisis melalui tiga tahap: (1) Sintesis Literatur, yaitu mengumpulkan dan mengkaji 5 referensi utama untuk mengidentifikasi pola dan tema; (2) Pemetaan Risiko, yaitu membuat matriks klasifikasi risiko halusinasi AI berdasarkan tingkat keparahan dan dampaknya pada keamanan informasi; (3) Analisis Kasus Kontekstual, yaitu menganalisis kasus nyata menggunakan matriks risiko yang telah dibuat, lalu menarik kesimpulan dan merumuskan rekomendasi mitigasi.

Hasil

A. Klasifikasi Risiko Halusinasi AI: Berdasarkan sintesis literatur, halusinasi AI dapat diklasifikasikan ke dalam tiga tingkat risiko:
- Tingkat 1 (Kesalahan Informasi Ringan): AI salah menyebutkan detail faktual (misalnya tanggal CVE atau versi perangkat lunak), yang dapat diperbaiki dengan verifikasi manual.
- Tingkat 2 (Fabrikasi Referensi dan Data): AI membuat CVE fiktif, referensi palsu, atau data yang tidak ada, yang dapat menyesatkan analis dan merusak kredibilitas laporan (Zaatri, 2026; Ding dkk., 2026).
- Tingkat 3 (Eksploitasi Aktif): Penyerang sengaja memicu halusinasi AI untuk mengeksploitasi analis, misalnya melalui Slopsquatting—membuat paket perangkat lunak palsu yang direkomendasikan AI (Hou, 2026).

B. Dampak Psikologis dan Operasional: Studi Khan (2026) menunjukkan bahwa manusia cenderung menilai teks yang meyakinkan sebagai akurat, meskipun sepenuhnya fiktif. Dalam konteks keamanan informasi, Automation Bias ini membuat analis rentan melewatkan ancaman kritis atau menerapkan patch yang salah (IEEE Xplore, 2026).

C. Strategi Mitigasi: Diperlukan protokol verifikasi berlapis (human-in-the-loop), pelatihan kritis bagi analis untuk mengenali tanda-tanda halusinasi, serta pengembangan alat deteksi halusinasi yang lebih canggih.

Pembahasan

Temuan di atas menunjukkan bahwa halusinasi AI bukan sekadar cacat teknis, melainkan ancaman keamanan informasi yang serius. Klasifikasi tiga tingkat risiko membantu kita memahami spektrum ancaman, dari yang ringan hingga yang berpotensi dieksploitasi secara aktif.

Yang paling mengkhawatirkan adalah kombinasi antara kemampuan AI menghasilkan teks yang meyakinkan dan kecenderungan manusia untuk mempercayainya. Khan (2026) membuktikan bahwa teks fiktif bisa dinilai hampir setara dengan teks faktual. Dalam dunia keamanan informasi, di mana keputusan harus diambil dengan cepat, kepercayaan buta pada output AI bisa berakibat fatal.

Oleh karena itu, strategi mitigasi tidak bisa hanya mengandalkan perbaikan model AI. Diperlukan pendekatan sosio-teknis yang melibatkan manusia sebagai verifikator akhir. Protokol human-in-the-loop, pelatihan kritis, dan pengembangan alat deteksi halusinasi menjadi kunci untuk mengurangi risiko ini. Integrasi antara keamanan informasi dan literasi AI menjadi keniscayaan di era digital.

Kesimpulan

Halusinasi AI merupakan risiko keamanan informasi yang serius dan harus diperlakukan sebagai ancaman kritis, bukan sekadar cacat produk. Risiko ini dapat diklasifikasikan ke dalam tiga tingkat: Kesalahan Informasi Ringan, Fabrikasi Referensi dan Data, serta Eksploitasi Aktif. Dampaknya diperparah oleh kecenderungan psikologis manusia untuk mempercayai teks yang meyakinkan. Diperlukan strategi mitigasi sosio-teknis yang menggabungkan protokol verifikasi berlapis, pelatihan kritis bagi analis, dan pengembangan alat deteksi halusinasi.

Rekomendasi

1. Bagi Praktisi Keamanan Informasi: Terapkan protokol verifikasi berlapis (human-in-the-loop) untuk setiap output AI yang digunakan dalam pengambilan keputusan kritis.
2. Bagi Pengembang AI: Tingkatkan transparansi model dan kembangkan fitur deteksi halusinasi yang dapat diandalkan.
3. Bagi Organisasi: Selenggarakan pelatihan literasi AI bagi analis keamanan untuk mengenali tanda-tanda halusinasi dan mengurangi Automation Bias.
4. Bagi Peneliti Selanjutnya: Lakukan riset empiris untuk mengukur efektivitas berbagai strategi mitigasi halusinasi AI di lingkungan keamanan informasi.

Keterbatasan Riset

Riset ini menggunakan data sekunder dari literatur dan tidak melakukan pengujian empiris langsung terhadap model AI tertentu. Oleh karena itu, temuan bersifat konseptual dan dapat berbeda jika diuji pada model yang berbeda.

Daftar Pustaka

Ding, J., dkk. (2026). AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation. arXiv:2608.25667.
Hou, A. (2026). Hallucinations at the Firewall. AAAI.
IEEE Xplore. (2026). A Systematic Literature Review of Intelligent Anomaly Detection and Threat Analysis Using LLMs in Quantum-Aware Cyber Systems.
Khan, M. M. (2026). A Comparative Review of Hallucinations in Large Language Models and Human Perceptions of Bias. Aarhat Multidisciplinary International Education Research Journal.
Zaatri, A. (2026). Trust in Generative AI: A Necessary Warning for Research and IT Security. Zenodo.

← Kembali ke daftar riset