A Googlebot egy webkúszó szoftveres keresőrobot (más néven pók vagy webcrawler), amely összegyűjti a Google keresőmotor találati oldalainak (SERP) előállításához használt weboldali információkat.
A Googlebot dokumentumokat gyűjt a világhálóról a Google keresési indexének felépítéséhez. A dokumentumok folyamatos gyűjtése révén a szoftver új oldalakat és a meglévő oldalak frissítéseit fedezi fel. A Googlebot több számítógépre kiterjedő, elosztott felépítést használ, így a web növekedésével együtt tud növekedni.
A webcrawler algoritmusok segítségével határozza meg, hogy milyen oldalakat, milyen sebességgel és hány oldalról keressen. A Googlebot egy korábbi munkamenetekből generált listával kezd. Ez a lista aztán kiegészül a webmesterek által megadott sitemapokkal. A szoftver átnézi az általa böngészett weboldalak összes linkelt elemét, megjegyzi az új webhelyeket, a webhelyek frissítéseit és a halott linkeket. Az összegyűjtött információkat a Google internetes indexének frissítésére használja.
A Googlebot a webmesterek által a robots.txt fájlokban meghatározott korlátozásokon belül hoz létre indexet. Ha egy webmester például el akarja rejteni az oldalakat a Google keresése elől, akkor a webhely legfelső szintű mappájában található robots.txt fájlban blokkolhatja a Googlebotot. Ha meg akarja akadályozni, hogy a Googlebot a webhely egy adott oldalán található linkeket kövesse, akkor a nofollow meta taget is beillesztheti; ha pedig meg akarja akadályozni, hogy a robot egyes linkeket kövessen, a webmester rel=”nofollow”-ot adhat magukhoz a linkekhez.
A webhely webmestere észlelheti, hogy a google.com címen található számítógépek néhány másodpercenként látogatást tesznek a Googlebot felhasználó-agentet megjelenítve. Általában a Google igyekszik minél többet indexelni egy webhelyből anélkül, hogy túlterhelné a webhely sávszélességét. Ha egy webmester úgy találja, hogy a Googlebot túl sok sávszélességet használ, a Google keresőkonzoljának kezdőlapján beállíthat egy arányt, amely 90 napig marad érvényben.
A 2011-es SearchLove konferencián Josh Giardino azt állította, hogy a Googlebot valójában a Chrome böngésző. Ez azt jelentené, hogy a Googlebot nemcsak szöveges oldalak böngészésére képes, mint a lánctalpasok, hanem a webböngészőkhöz hasonlóan szkripteket és médiát is képes futtatni. Ez a képesség lehetővé teheti a Googlebot számára, hogy rejtett információkat találjon, és más, a Google által el nem ismert feladatokat hajtson végre. Giardino odáig ment, hogy azt mondta, a Googlebot lehet az eredeti oka annak, hogy a vállalat létrehozta a Chrome-ot.