Keresőrobotoknak hívjuk azokat a programokat, melyek a keresőoldalak számára gyűjtik össze a weblapokról az információkat (Beindexelik az oldalakat). Bizonyos szabályok szerint automatikusan követik az egyes weboldalakon található linkeket. Ezek a robotok azonosítják magukat, és a rendes Látogatottsági Statisztika megmutatja, hogy mikor jártak utoljára oldalunkon és hány oldalt látogattak meg. A menőbb robotoknak vannak saját márkaneveik, ilyen például a Googlebot, vagy az [Inktomi Slurp]?, mely a Yahoo! számára gyűjt adatokat.
A Különböző Böngészők eltérő módon értelmezik az oldalon
található html kódot, az esetleges hibákat és szabványtól eltérő
megoldásokat is igyekeznek megjeleníteni, ezáltal a rossz kód sokszor
fel sem tűnik az oldal alkotóinak, viszont a keresőrobotok számára
értelmezhetetlen. Ezért előfordulhat, hogy nem tudnják az egész oldalt
"elolvasni", vagy nem tudnak továbbmenni az oldalról. Emiatt kell
elkerülni a Problémás technológiákat és ragaszkodni a
Szabványos forráskódhoz.
A robotoknak engedelmeskednie kell az oldalunkon elhelyezett [robots.txt]? fájlban található "parancsoknak". E technika segítségével megtilthatjuk a robotoknak, hogy oldalunk bizonyos részét, részeit beindexeljék.
A szinte minden, a keresőrobotokról szóló információ megtalálható itt: http://www.robotstxt.org/wc/robots.html