Cloudflare baru saja mengumumkan serangkaian penyempurnaan pada manajemen crawler web mereka. Langkah ini diambil untuk memberikan kontrol lebih besar bagi pemilik situs sekaligus menjaga ekosistem web yang sehat.
Baca Juga: Anthropic Rilis Claude Sonnet 5.0, Jalan Tengah yang Lebih Aman dan Murah
Dilansir dari ithome.com, pada 1 Juli 2026, Cloudflare memperkenalkan label perilaku baru untuk bot crawler. Label ini mencakup kategori seperti pencarian, agen, dan pelatihan. Dengan adanya label ini, pemilik situs bisa lebih mudah mengidentifikasi dan mengelola bagaimana crawler berinteraksi dengan konten mereka.
Salah satu kebijakan paling signifikan adalah rencana untuk memblokir akses agen AI serta training crawler ke halaman yang mengandung iklan secara default. Kebijakan ini akan mulai berlaku pada 15 September 2026.
Baca Juga: Microsoft Percepat Kriptografi Pasca-Kuantum, Target 2029
Tujuan utamanya adalah melindungi pendapatan iklan pemilik situs. Cloudflare menyadari bahwa banyak model AI dan crawler pelatihan mengikis halaman tanpa memberikan nilai balik, bahkan seringkali melewati iklan yang menjadi sumber pendapatan utama bagi banyak situs.
Dalam ekosistem yang semakin didominasi oleh agen AI, langkah ini menjadi penting. Bisnis AI yang bertanggung jawab memang sudah menandai penggunaan crawler mereka dengan jelas, namun kenyataannya masih banyak crawler campuran yang memiliki lebih dari satu fungsi sekaligus.
Cloudflare mengatasi masalah ini dengan mencocokkan crawler campuran ke semua pola perilaku yang dimilikinya. Artinya, jika satu perilaku diblokir—misalnya perilaku pengumpulan data untuk pelatihan AI—maka seluruh aktivitas crawler tersebut akan dihentikan.
Pendekatan ini membuat pemilik situs tidak perlu lagi menebak-nebak atau menghadapi celah yang bisa dimanfaatkan oleh crawler tidak bertanggung jawab.
Selain pengelolaan crawler yang lebih granular, Cloudflare juga menyediakan dashboard insight atribusi bisnis baru. Dashboard ini dirancang untuk membantu pemilik bisnis beradaptasi dengan pergeseran dari Search Engine Optimization (SEO) menuju Generative Engine Optimization (GEO) hingga Answer Engine Optimization (AEO).
Dengan wawasan yang lebih dalam tentang asal dan perilaku trafik, pengguna bisa membuat keputusan yang lebih tepat dalam mengoptimalkan konten mereka.
Fitur lain yang diperkenalkan adalah pemantauan perubahan halaman. Fitur ini berfungsi mencegah scraping berulang yang tidak perlu dengan mendeteksi perubahan konten secara real-time.
Jika tidak ada perubahan signifikan pada halaman, crawler tidak perlu melakukan scraping ulang, sehingga beban server berkurang dan kenyamanan akses bagi pengguna manusia tetap terjaga.
Untuk lebih mengakomodasi kebutuhan bisnis modern, Cloudflare juga menawarkan model pembayaran scraping berbasis penggunaan. Dengan model ini, bisnis yang sah bisa mengakses data secara terukur tanpa harus khawatir tentang biaya tetap yang tinggi.
Baca Juga: Serangan BioShocking Curi Kredensial Pengguna Lewat Peramban AI
Semua inisiatif ini merupakan bagian dari komitmen Cloudflare untuk menciptakan internet yang lebih aman dan adil bagi semua pihak.
Leave a Comment