.webp) |
| cover | @cloudflare |
"Kami mengamati perilaku perayapan tersembunyi dari Perplexity, sebuah mesin penjawab bertenaga AI. Meskipun Perplexity awalnya merayapi dari agen pengguna yang dideklarasikan, ketika mereka dihadapkan dengan blok jaringan, mereka tampak mengaburkan identitas perayapan mereka dalam upaya untuk menghindari preferensi situs web. Kami melihat bukti berkelanjutan bahwa Perplexity berulang kali memodifikasi agen pengguna mereka dan mengubah ASN sumber mereka untuk menyembunyikan aktivitas perayapan mereka, serta mengabaikan — atau terkadang bahkan gagal mengambil — file robots.txt," tulis Cloudflare dalam laporan resminya, dilansir Selasa (5/8/2025).
Masalah ini mencuat setelah Cloudflare menerima keluhan dari beberapa klien yang merasa kontennya tetap diakses oleh Perplexity, meski sudah memblokir bot resminya. Setelah penyelidikan mendalam, termasuk dengan membuat domain uji yang tak terindeks oleh mesin pencari dan diproteksi penuh dengan robots.txt, Cloudflare menemukan bahwa Perplexity tetap bisa memberikan jawaban yang mencerminkan isi domain tersebut. Ini menunjukkan bahwa Perplexity kemungkinan besar menggunakan metode tidak sah untuk mengakses informasi tersembunyi.
Perplexity diduga menggunakan dua jenis agen pengguna: yang “dinyatakan” dan “siluman.” Agen pengguna dinyatakan membawa identitas Perplexity-User dengan jumlah permintaan 20–25 juta per hari, sementara yang siluman menyamar sebagai browser Chrome dan mengirimkan 3–6 juta permintaan harian. Agen siluman ini melanggar norma perayapan web seperti tertuang dalam RFC 9309, dan menggunakan IP di luar rentang resmi Perplexity, bahkan berpindah-pindah ASN untuk menghindari deteksi.
Dari pengujian lebih lanjut, Cloudflare juga mendapati bahwa ketika bot siluman diblokir, Perplexity akan mencoba merespons menggunakan sumber data alternatif lain. Namun, kualitas jawabannya menurun karena tidak lagi mengandung detail dari konten asli. Ini membuktikan bahwa blokir berhasil menghalangi akses langsung, meskipun Perplexity tetap berusaha menyusun respons dari informasi publik lain.
"Kami melakukan eksperimen dengan mengajukan pertanyaan tentang domain-domain ini kepada Perplexity AI, dan menemukan bahwa Perplexity masih memberikan informasi detail mengenai konten yang dihosting di setiap domain terbatas ini. Respons ini tidak terduga, karena kami telah mengambil semua tindakan pencegahan yang diperlukan untuk mencegah data ini diambil oleh perayap mereka," ungkapnya.
Berbeda dari perilaku menyelundup yang dilakukan Perplexity, operator bot yang baik harus bersikap transparan, memiliki tujuan jelas, dan patuh terhadap kebijakan situs. Bot yang baik mengidentifikasi dirinya secara terbuka, menghormati robots.txt, dan tidak meniru peramban manusia. Bahkan, setiap aktivitas bot idealnya dipisahkan demi transparansi dan kontrol pemilik situs.
Cloudflare mencontohkan OpenAI sebagai model operator AI yang bertanggung jawab. Perayap OpenAI, termasuk ChatGPT, dinilai patuh terhadap semua arahan robots.txt dan tidak mencoba mengakses ulang situs setelah diblokir. Cloudflare melakukan pengujian yang sama terhadap ChatGPT dan menemukan bahwa layanan ini langsung menghentikan perayapan jika diminta, tanpa mencoba menyelinap dengan cara lain.
"Bagaimana operator bot yang bermaksud baik menghormati preferensi situs web. Berbeda dengan perilaku yang dijelaskan di atas, internet telah menyatakan preferensi yang jelas tentang bagaimana seharusnya perayap yang baik berperilaku. Semua perayap yang berniat baik dan bertindak dengan itikad baik harus. Bersikap transparan. Identifikasi diri secara jujur, menggunakan agen pengguna yang unik, daftar rentang IP yang dideklarasikan, atau integrasi Otorisasi Web Bot , dan berikan informasi kontak jika terjadi kesalahan," terangnya.
Untuk melindungi pelanggan dari aktivitas perayapan ilegal, Cloudflare telah memperbarui sistem manajemen bot mereka. Pelanggan dapat mengaktifkan aturan pemblokiran atau tantangan, yang akan menyaring perayap siluman seperti yang digunakan Perplexity. Bahkan pengguna gratis pun bisa mengakses aturan ini untuk meningkatkan perlindungan terhadap scraping AI.
Ke depan, Cloudflare memperkirakan operator bot seperti Perplexity akan terus mengembangkan teknik baru untuk menghindari deteksi. Namun, Cloudflare juga terus menyempurnakan teknologi pendeteksian dan bekerja sama dengan komunitas teknis serta pembuat kebijakan global, seperti IETF, untuk menegakkan standar baru dalam perayapan AI. Ini adalah langkah penting demi masa depan internet yang lebih transparan, aman, dan adil bagi semua pihak.
"Kami memperkirakan akan terjadi perubahan perilaku bot dan perayap berdasarkan fitur-fitur baru ini, dan kami memperkirakan teknik yang digunakan operator bot untuk menghindari deteksi akan terus berkembang. Setelah postingan ini tayang, perilaku yang kami lihat hampir pasti akan berubah, dan metode yang kami gunakan untuk menghentikannya juga akan terus berkembang," jelasnya.
