Googlebot on verkkoa ryömivä ohjelmistohakurobotti (tunnetaan myös nimellä hämähäkki tai webcrawler), joka kerää verkkosivutietoja, joita käytetään Googlen hakukoneiden hakutulossivujen (SERP) toimittamiseen.
Googlebot kerää asiakirjoja verkosta Googlen hakuindeksin rakentamiseksi. Keräämällä jatkuvasti asiakirjoja ohjelmisto löytää uusia sivuja ja päivityksiä olemassa oleviin sivuihin. Googlebot käyttää hajautettua, monia tietokoneita kattavaa rakennetta, jotta se voi kasvaa verkon kasvaessa.
Webcrawler käyttää algoritmeja määrittääkseen, mitä sivustoja selataan, millä nopeudella selataan ja kuinka monta sivua haetaan. Googlebot aloittaa aiemmista istunnoista muodostetulla listalla. Tätä luetteloa täydennetään sitten webmasterien toimittamilla sitemapeilla. Ohjelmisto käy läpi kaikki selaamiensa verkkosivujen linkitetyt elementit ja huomioi uudet sivustot, sivustojen päivitykset ja kuolleet linkit. Kerättyjä tietoja käytetään Googlen web-indeksin päivittämiseen.
Googlebot luo indeksin niiden rajoitusten puitteissa, jotka webmasterit ovat asettaneet robots.txt-tiedostoissaan. Jos webmaster haluaa pitää sivut piilossa esimerkiksi Googlen haulta, hän voi estää Googlebotin sivuston ylimmän tason kansiossa olevassa robots.txt-tiedostossa. Estääkseen Googlebotia seuraamasta sivuston tietyllä sivulla olevia linkkejä hän voi lisätä metatunnisteen nofollow; estääkseen botin seuraamasta yksittäisiä linkkejä webmaster voi lisätä rel=”nofollow” itse linkkeihin.
Sivuston webmaster saattaa havaita muutaman sekunnin välein vierailuja tietokoneilta osoitteessa google.com, joissa näkyy käyttäjäagentti Googlebot. Yleensä Google pyrkii indeksoimaan mahdollisimman suuren osan sivustosta kuormittamatta sivuston kaistanleveyttä. Jos webmasterin mielestä Googlebot käyttää liikaa kaistanleveyttä, hän voi asettaa Googlen hakukonsolin etusivulla nopeuden, joka pysyy voimassa 90 päivää.
Esitellessään vuoden 2011 SearchLove-konferenssissa Josh Giardino väitti, että Googlebot on itse asiassa Chrome-selain. Tämä tarkoittaisi, että Googlebotilla ei ole vain kykyä selata sivuja tekstinä, kuten indeksoijilla on tapana, vaan se voi myös ajaa skriptejä ja mediaa, kuten verkkoselaimilla on tapana. Tämän kyvyn ansiosta Googlebot voisi löytää piilotettua tietoa ja suorittaa muita tehtäviä, joita Google ei tunnusta. Giardino meni jopa niin pitkälle, että Googlebot saattaa olla alkuperäinen syy siihen, että yhtiö loi Chromen.