MALI PAUK KOJI MAPIRA INTERNET
Na prvi pogled, web crawler mogao bi da izgleda poput malog digitalnog pauka koji se kreće između različitih stranica na internetu. Ovakva vizuelizacija na jednostavan način prikazuje proces koji je u osnovi funkcionisanja savremenih pretraživača. Crawler posećuje poznate adrese, pronalazi linkove na njima i zatim nastavlja dalje, otkrivajući nove stranice.
OD JEDNOG LINKA DO ČITAVE MREŽE
Web crawler, poznat i kao spider, zapravo je automatizovani softverski program koji preuzima sadržaj sa veb stranica i prikuplja informacije o njima. Proces obično počinje od skupa poznatih URL adresa, odnosno svojevrsnih početnih tačaka. Kada crawler učita jednu stranicu, može da pronađe linkove koji vode ka drugim adresama i doda ih na listu stranica koje treba posetiti.
Zbog toga internet iz perspektive crawlera više liči na ogromnu mrežu međusobno povezanih čvorova nego na niz odvojenih sajtova. Svaki novi link potencijalno vodi do sledećeg dela mreže, dok sistemi za crawling istovremeno odlučuju kojim stranicama treba dati prioritet i kada ih ponovo posetiti. Google navodi da njegovi crawler sistemi automatski prilagođavaju način obilaska kako bi pronašli svež i važan sadržaj. Uz istovremeno opterećivanje servera u prihvatljivoj meri.
PAUK NE ČITA CEO INTERNET ODJEDNOM
Međutim, crawler ne obilazi internet nasumično niti svaku stranicu posećuje jednakom učestalošću. Na izbor mogu da utiču različiti signali. To uključujw značaj stranice, veze koje vode ka njoj, promene sadržaja i pravila koja vlasnik sajta definiše kroz datoteku robots.txt. Ta pravila mogu crawlerima da dozvole ili ograniče pristup određenim delovima sajta.
Prikupljanje stranica samo je jedan deo procesa. Nakon crawlovanja dolazi indeksiranje, tokom kojeg pretraživač organizuje prikupljene informacije tako da ih kasnije može brzo pronaći kada korisnik unese upit. Google, na primer, koristi Googlebot za pronalaženje relevantnog sadržaja. Njegova infrastruktura danas obuhvata različite crawlere i fetchere namenjene različitim Google proizvodima.
ZAŠTO JE VIZUELIZACIJA PAUKA TOLIKO PRECIZNA
Zato je metafora pauka zapravo mnogo više od simpatične ilustracije. Kao što pauk prelazi preko niti svoje mreže, crawler se kreće kroz veze koje povezuju stranice, otkrivajući nove delove ogromne digitalne strukture. Upravo zato se izraz „pider“ decenijama koristi kao sinonim za web crawler.
Ipak, iza jednostavne slike pauka krije se veoma složen sistem. Savremeni crawler mora da obrađuje ogroman broj adresa, određuje šta će posetiti, poštuje određena pravila pristupa i periodično proverava da li se sadržaj promenio. Kada se sve to prikaže kao malo biće koje skače sa jedne stranice na drugu, komplikovana infrastruktura interneta odjednom postaje mnogo lakša za razumevanje.