Vodeći pretraživači kao što su Google, Yahoo! i Bing koriste „paukove“ da pronađu stranice za svoje algoritamske rezultate pretrage. Stranice koje su linkovane sa indeksovanih stranica drugih pretraživača se pronalaze automatski. Neki pretraživači, posebno Yahoo!, imaju plaćeni servis koji garantuje uključivanje u bazu podataka i redovno obilaženje sajta, ali ne i postizanje određenog ranga u okviru rezultata pretrage. Dva glavna direktorijuma, Yahoo Directory i Open Directory Project zahtevaju ručno unošenje podataka, a uređivanje i proveru vrši čovek. Google nudi Google Webmaster Tools, za koji se može kreirati XML mapa sajta, koja je besplatna i omogućava da se pronađu sve stranice web sajta, naročite stranice do kojih se ne može doći automatskim praćenjem linkova.
„Paukovi“ pretraživača mogu da posmatraju razne faktore kada obilaze sajt. Pretraživači ne indeksuju uvek sve stranice sajta. Udaljenost stranice od glavnog direktorijuma sajta može takođe da utiče na to da li će stranica da se obiđe ili ne. Pritom još postoji i problem kada pretraživač obilazi sajt koji sadrži svakakve vrste grafičkih sadržaja, dokumenta u flash-u, prenosiva dokumenta i dinamičke sadržaje.