Perayapan sadar bahasa oleh Googlebot

Artikel ini menjelaskan cara Google menggunakan setelan perayapan yang berbeda untuk situs yang tidak dapat memiliki URL terpisah untuk setiap bahasa. Jika situs web Anda memiliki laman yang mengembalikan konten berbeda berdasarkan negara yang terdeteksi atau bahasa pilihan pengunjung (dengan kata lain, Anda memiliki laman adaptif lokal), Google mungkin tidak dapat merayapi, mengindeks, dan memberi peringkat pada semua konten adaptif lokal Anda. Ini karena alamat IP default perayap Googlebot tampaknya berada di AS. Selain itu, perayap mengirimkan permintaan HTTP tanpa menyetel Accept-Language di header permintaan.

Untuk menangani perayapan dan pengindeksan konten adaptif lokal, kami menggunakan perayapan sadar bahasa agar konten Anda dapat ditampilkan dengan lebih baik bagi penelusur di seluruh dunia. Perayapan sadar bahasa terjadi saat Googlebot merayapi menggunakan salah satu atau kedua konfigurasi berikut:

  • Perayapan yang terdistribusi secara geografis: Googlebot menggunakan alamat IP yang tampaknya berada di luar AS, selain alamat IP lama yang tampaknya berada di AS.
  • Perayapan tergantung bahasa: Googlebot merayapi dengan Accept-Language yang disetel di header HTTP.

Saat ini, Googlebot mengenali sejumlah sinyal dan petunjuk untuk menentukan apakah situs web menyajikan konten khusus lokal:
  • Menyajikan konten yang berbeda pada URL yang sama—berdasarkan negara pengguna yang terdeteksi (geolokasi)
  • Menyajikan konten yang berbeda pada URL yang sama—berdasarkan Accept-Language yang disetel oleh browser pengguna di header permintaan HTTP
  • Benar-benar memblokir akses untuk permintaan dari negara tertentu

Perayapan yang terdistribusi secara geografis
Seperti yang selalu kami anjurkan, jika Googlebot tampaknya berasal dari negara tertentu, maka perlakukan itu seperti Anda memperlakukan pengguna lain dari negara tersebut. Artinya, jika Anda memblokir pengguna yang berada di AS agar tidak dapat mengakses konten, namun mengizinkan pengunjung dari Australia, maka server Anda harus memblokir Googlebot yang tampaknya berasal dari AS, namun mengizinkan akses ke Googlebot yang tampaknya berasal dari Australia.

Googlebot menggunakan alamat IP lama yang tampaknya berasal dari Amerika Serikat. Dengan perayapan hasil distribusi geo, Googlebot kini dapat menggunakan alamat IP yang tampaknya berasal dari negara lain, misalnya Australia.

Perayapan berdasarkan bahasa
Jika situs Anda mengubah kontennya berdasarkan Accept-Language yang disetel oleh header HTTP browser, Googlebot akan menggunakan berbagai sinyal untuk mencoba merayapi konten dengan menggunakan header HTTP Accept-Language lain. Artinya, Google lebih mungkin menemukan, mengindeks, dan memberi peringkat konten dalam berbagai bahasa yang didukung situs.


Pertimbangan lainnya
  • Googlebot menggunakan string agen pengguna yang sama untuk semua konfigurasi perayapan. Pelajari lebih lanjut tentang string agen pengguna yang digunakan oleh perayap Google di Pusat Bantuan kami.
  • Anda dapat memverifikasi perayapan Googlebot yang terdistribusi secara geografis menggunakan pencarian DNS terbalik.
  • Pastikan situs Anda menerapkan protokol pengecualian robot secara konsisten di seluruh bahasa. Artinya, tag meta robot dan file robots.txt harus memberikan instruksi yang sama di setiap bahasa. Misalnya, jika Googlebot menerima tag meta noindex saat menyetel header Accept-Language dalam bahasa Spanyol, Googlebot harus menerima tag meta noindex yang sama tanpa header Accept-Language atau saat Googlebot merayapi dengan header Accept-Language lain. Ini akan menghindari perilaku perayapan dan pengindeksan tak terduga yang dapat terjadi jika bahasa yang berbeda memiliki tag meta noindex yang berbeda, atau jika situs merespons dengan file robots.txt yang berbeda untuk alamat IP yang berbeda. (Pelajari lebih lanjut di Mengontrol Perayapan dan Pengindeksan di situs Pengembang kami.)
Sekian share kali ini semoga apa yang saya share bisa bermanfaat bagi teman-teman semua, wassalam😄

Artikel From : Search Console



— — , , Edit Post