Googlebot
Det ser ud til at Google er begyndt at benytte en ny spider
når der scannes og indexeres hjemmesider.
Nyheden om en ny Googlebot blev opdaget af flere,
hjemmeside ejere medens de analyserede deres logfil
og der gjorde opdagelsen af to Google spidere med
forskellig IP adresse område.
Den normale Googlebot:
66.249.64.47 - - [15/Sep/2004:18:59:12 -0700] "
GET /robots.txt HTTP/1.0" 404 1227 "-"
"Googlebot/2.1 (+http://www.google.com/bot.html)"
Den ny Googlebot:
66.249.66.129 - - [15/Sep/2004:18:12:51 -0700] "
GET / HTTP/1.1" 200 38358 "-" "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"
Der er ikke kun tale om en anderledes *User Agent, men også HTTP 1.1.
IP adressen der bruges er en IP block som normalt bliver brugt kun for
Mediapartners (Adsense spider), men den spider en side uden Adsense.
Google er begyndt at finde/læse/indexere Javascript/Flash Url så måske
den ny Googlebot er udviklet til at indsamle den slags data.
•Insider report om ny Googlebot »

