OpenAI luncurkan GPTBot, sistem perayap web mirip Googlebot

cover: topik.id

Perusahaan OpenAI yang fokus dalam pengembangan kecerdasan buatan telah meluncurkan GPTBot, sebuah alat web crawling yang bertujuan untuk memperluas dataset pelatihan untuk sistem AI generasi berikutnya. 

Peluncuran ini datang setelah perusahaan mendaftarkan merek dagang untuk 'GPT-5', memberikan petunjuk tentang rilis generasi AI yang akan datang.

Dari sember pengguna di LinkedIn mengungkapkan OpenAI baru saja meluncurkan GPTBot, perayap web yang dirancang untuk secara otomatis mengikis data dari seluruh internet.

"Data ini akan digunakan untuk melatih model AI masa depan termasuk pembaruan untuk GPT-4 yang ada dan GPT-5 yang akan datang! GPTBot memastikan bahwa sumber yang melanggar privasi dan mereka yang berada di belakang paywall dikecualikan," tulis Shubham Saboo dalam postingan di akun LinkedIn disertakan tangkapan layar pengaturan GPTBot.

GPTBot

Dari penelusuran topik.id, Selasa (8/8/2023) di laman resmi dokumentasi OpenAI menjelaskan pemilik web dapat mengizinkan GPTBot untuk mengakses website agar dapat membantu model AI menjadi lebih akurat dan meningkatkan kemampuan dan keamanannya secara umum. 

"Halaman web yang dirayapi dengan agen pengguna GPTBot berpotensi digunakan untuk menyempurnakan model mendatang dan difilter untuk menghapus sumber yang memerlukan akses paywall, diketahui mengumpulkan informasi identitas pribadi (PII), atau memiliki teks yang melanggar kebijakan kami. Mengizinkan GPTBot mengakses situs Anda dapat membantu model AI menjadi lebih akurat dan meningkatkan kemampuan dan keamanannya secara umum. Di bawah ini, kami juga membagikan cara melarang GPTBot mengakses situs Anda," keterangan tertulis di laman resmi dokumentasi OpenAI.

Sementara itu, pesaing utama OpenAI, Google terlebih dahulu membuat sistem web crawler, "Googlebot adalah nama umum untuk dua jenis web crawler," tulis Google di laman resmi Google untuk para Developer itu.

Googlebot dirancang untuk dijalankan bersamaan oleh ribuan perangkat guna meningkatkan performa dan skala seiring bertumbuhnya web. 

Selain itu, untuk mengurangi penggunaan bandwidth, Googlebot menjalankan banyak crawler di perangkat yang terletak di dekat situs yang mungkin akan di-crawl. Oleh karena itu, log Anda mungkin menampilkan kunjungan dari beberapa alamat IP, semuanya dengan agen pengguna Googlebot. 

"Tujuan kami adalah meng-crawl sebanyak mungkin halaman dari situs Anda di setiap kunjungan tanpa membuat server Anda mengalami kelebihan beban. Jika situs Anda kesulitan mengimbangi permintaan crawling Google, Anda dapat mengurangi frekuensi crawling," terangnya.