Googlebot är en sökrobot (även känd som en spindel eller webcrawler) som samlar information om webbsidor som används för att tillhandahålla Googles sökmotorresultatsidor (SERP).
Googlebot samlar in dokument från webben för att bygga Googles sökindex. Genom att ständigt samla in dokument upptäcker programvaran nya sidor och uppdateringar av befintliga sidor. Googlebot använder en distribuerad design som sträcker sig över många datorer så att den kan växa i takt med att webben växer.
Webcrawler använder algoritmer för att avgöra vilka webbplatser som ska genomsökas, vilka hastigheter som ska genomsökas och hur många sidor som ska hämtas från. Googlebot börjar med en lista som genererats från tidigare sessioner. Denna lista utökas sedan med de sitemaps som tillhandahålls av webmasters. Programvaran går igenom alla länkade element på de webbsidor som den besöker och noterar nya webbplatser, uppdateringar av webbplatser och döda länkar. Den insamlade informationen används för att uppdatera Googles index över webben.
Googlebot skapar ett index inom ramen för de begränsningar som webbansvariga anger i sina robots.txt-filer. Om en webbmaster till exempel vill hålla sidor dolda för Googles sökning kan han blockera Googlebot i en robots.txt-fil i den översta mappen på webbplatsen. För att hindra Googlebot från att följa alla länkar på en viss sida på en webbplats kan han inkludera metataggen nofollow; för att hindra roboten från att följa enskilda länkar kan webbansvarig lägga till rel=”nofollow” till själva länkarna.
En webbplatsens webbansvarig kan upptäcka besök med några sekunders mellanrum från datorer på google.com, som visar användaragenten Googlebot. I allmänhet försöker Google indexera så mycket som möjligt av en webbplats utan att överbelasta webbplatsens bandbredd. Om en webmaster upptäcker att Googlebot använder för mycket bandbredd kan han/hon ställa in en hastighet på Googles startsida för sökkonsolen som kommer att gälla i 90 dagar.
Presenterande vid 2011 års SearchLove-konferens hävdade Josh Giardino att Googlebot i själva verket är webbläsaren Chrome. Det skulle innebära att Googlebot inte bara har förmågan att bläddra i sidor i text, som crawlers gör, utan också kan köra skript och media som webbläsare gör. Den kapaciteten skulle kunna göra det möjligt för Googlebot att hitta dold information och utföra andra uppgifter som inte erkänns av Google. Giardino gick så långt som att säga att Googlebot kan vara den ursprungliga anledningen till att företaget skapade Chrome.