Googlebot je softwarový vyhledávací robot (známý také jako pavouk nebo webcrawler), který shromažďuje informace o webových stránkách, jež slouží k vytváření stránek s výsledky vyhledávání Google (SERP).
Googlebot shromažďuje dokumenty z webu a vytváří index vyhledávání Google. Díky neustálému shromažďování dokumentů software objevuje nové stránky a aktualizace stávajících stránek. Googlebot používá distribuovanou konstrukci zahrnující mnoho počítačů, takže může růst stejně jako web.
Webcrawler používá algoritmy k určení, které stránky má procházet, jakou rychlostí má procházet a kolik stránek má načíst. Googlebot začíná se seznamem vytvořeným z předchozích relací. Tento seznam je pak rozšířen o mapy stránek poskytnuté webmastery. Software prochází všechny propojené prvky na webových stránkách, které prochází, a zaznamenává nové weby, aktualizace webů a mrtvé odkazy. Shromážděné informace se používají k aktualizaci indexu webu Google.
Googlebot vytváří index v rámci omezení stanovených webmastery v jejich souborech robots.txt. Pokud si například webmaster přeje, aby stránky zůstaly skryté před vyhledáváním Google, může Googlebot zablokovat v souboru robots.txt ve složce nejvyšší úrovně webu. Pokud chce robotovi Googlebot zabránit v následování všech odkazů na dané stránce webu, může na ni vložit metaznačku nofollow; pokud chce robotovi zabránit v následování jednotlivých odkazů, může správce webu přidat rel=“nofollow“ k samotným odkazům.
Správce webu může každých několik sekund detekovat návštěvy z počítačů na adrese google.com, kde se zobrazuje uživatelský agent Googlebot. Obecně se Google snaží indexovat co největší část webu, aniž by zahltil jeho šířku pásma. Pokud správce webu zjistí, že Googlebot využívá příliš velkou šířku pásma, může na domovské stránce vyhledávací konzoly Google nastavit sazbu, která zůstane v platnosti 90 dní.
Při prezentaci na konferenci SearchLove 2011 Josh Giardino tvrdil, že Googlebot je ve skutečnosti prohlížeč Chrome. To by znamenalo, že Googlebot má nejen schopnost procházet stránky v textu, jak to dělají crawlery, ale může také spouštět skripty a média, jak to dělají webové prohlížeče. Tato schopnost by mohla Googlebotovi umožnit vyhledávat skryté informace a provádět další úkoly, které Google neuznává. Giardino zašel tak daleko, že řekl, že Googlebot může být původním důvodem, proč společnost vytvořila Chrome.