GoogleBot kısaca googlenin Arama Motoru Örümceğidir.Siteleri
belirli periyodlarda gezer ve sitelerin googlede indexlenmesi konusunda
bir görevli gibidir.Siteleri indexlerken Robots.txt dosyasını kaile
alır.Ayrıca sadece tüm kullanıcılara açık olan bölgeleri
dolaşabilir.Dolayısı ile kayıtlı kullanıcıların veyahut sadece
yetkililerin ulaşacağı noktalara giremez.Bunun dışında Googlebot'ın
sitenizi daha iyi ve hızlı indexlemesi için Başta Sitemap olmak üzere
birçok yol bulunmaktadır.Ayrıca googleBot çok çalışan bir bot olduğu
için sitenizin kapalı olması durumunda Bota yakalanırsanız google
indexlerinizde uçabilir.
Googlebot Google tarafından
kullanılan bir arama robotudur. Google arama motoru için, web'de
bulunan dökümanları toplayarak, aranabilir bir indeks üretir.
Eğer
bir sitenin webmaster'ı, sitesinden bulunan bilgilerin Googlebot
tarafından ve ya bir başka arama robotu tarafından indekslenmemesini
isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.
Googlebot'un
deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot, web
sayfasındaki bütün bağlantıları takip ederek, Google indeksleyicilerine
mümkün olan en fazla bilgiyi sağlar. Şu anda (2007 şubat) bu işlemi her
ay yeniden tamamlamaktadır. Freshbot, web'de yeni içeriği
tararmaktadır. Freshbot web sitelerini onların güncellenme sıklıklarına
göre ziyaret ederek yeni içeriği kaydeder. Teoride freshbot günlük bir
gazeteyi günde bir, haftalık bir dergiyi haftada bir ziyaret
etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de
denmektedir.
Konu: GoogleBot Nedir? 
