Artikel ini menjelaskan cara Google menggunakan setelan perayapan yang berbeda untuk situs yang tidak dapat memiliki URL terpisah untuk setiap bahasa. Jika situs web Anda memiliki laman yang mengembalikan konten berbeda berdasarkan negara yang terdeteksi atau bahasa pilihan pengunjung (dengan kata lain, Anda memiliki laman adaptif lokal), Google mungkin tidak dapat merayapi, mengindeks, dan memberi peringkat pada semua konten adaptif lokal Anda. Ini karena alamat IP default perayap Googlebot tampaknya berada di AS. Selain itu, perayap mengirimkan permintaan HTTP tanpa menyetel Accept-Language di header permintaan.
Untuk menangani perayapan dan pengindeksan konten adaptif lokal, kami menggunakan perayapan sadar bahasa agar konten Anda dapat ditampilkan dengan lebih baik bagi penelusur di seluruh dunia. Perayapan sadar bahasa terjadi saat Googlebot merayapi menggunakan salah satu atau kedua konfigurasi berikut:
- Perayapan yang terdistribusi secara geografis: Googlebot menggunakan alamat IP yang tampaknya berada di luar AS, selain alamat IP lama yang tampaknya berada di AS.
- Perayapan tergantung bahasa: Googlebot merayapi dengan Accept-Language yang disetel di header HTTP.
- Menyajikan konten yang berbeda pada URL yang sama—berdasarkan negara pengguna yang terdeteksi (geolokasi)
- Menyajikan konten yang berbeda pada URL yang sama—berdasarkan Accept-Language yang disetel oleh browser pengguna di header permintaan HTTP
- Benar-benar memblokir akses untuk permintaan dari negara tertentu
- Googlebot menggunakan string agen pengguna yang sama untuk semua konfigurasi perayapan. Pelajari lebih lanjut tentang string agen pengguna yang digunakan oleh perayap Google di Pusat Bantuan kami.
- Anda dapat memverifikasi perayapan Googlebot yang terdistribusi secara geografis menggunakan pencarian DNS terbalik.
- Pastikan situs Anda menerapkan protokol pengecualian robot secara konsisten di seluruh bahasa. Artinya, tag meta robot dan file robots.txt harus memberikan instruksi yang sama di setiap bahasa. Misalnya, jika Googlebot menerima tag meta noindex saat menyetel header Accept-Language dalam bahasa Spanyol, Googlebot harus menerima tag meta noindex yang sama tanpa header Accept-Language atau saat Googlebot merayapi dengan header Accept-Language lain. Ini akan menghindari perilaku perayapan dan pengindeksan tak terduga yang dapat terjadi jika bahasa yang berbeda memiliki tag meta noindex yang berbeda, atau jika situs merespons dengan file robots.txt yang berbeda untuk alamat IP yang berbeda. (Pelajari lebih lanjut di Mengontrol Perayapan dan Pengindeksan di situs Pengembang kami.)
