Da bi se izbegao neželjeni sadržaj u indeksu pretrage, webmasteri mogu da nalože paukovima da ne obilaze određene fajlove ili direktorijume pomoću standardnog robots.txt fajla u glavnom direktorijumu domena. Stranica se može dodatno isključiti iz pretrage i baze podataka pretraživača korišćenjem meta tagova karakterističnih za botove. Kada pretraživač poseti sajt, robots.txt fajl u glavnom direktorijumu pretraživača je prvi fajl koji se obilazi. Taj se fajl zatim analizira, a zatim upućuje pauka na to koje stranice treba da obiđe, a koje ne. Pošto pauk pretraživača može da sačuva keširanu kopiju ovog fajla, može se desiti da nekad obiđe stranice koje webmaster ne želi da izlaže pretrazi.
Obično se izbegava obilaženje stranica koje uključuju prijavu korisnika na sajt, na primer stranice za online kupovinu, kao i onih koje imaju specifičan korisnički sadržaj, kao što su stranice sa internom pretragom. U martu 2007. Google je upozorio webmastere da bi trebalo da spreče indeksovanje internih rezultata pretrage, pošto se te stranice smatraju spemovanjem pretrage.