Izrada sajta / vesti

Web i Print dizajn | Blog vesti | uvek bolji, web studio

Kako Robots.txt radi

Važnost Vašeg Robots.txt Fajla za Vaš SEO

Izrada_sajta


Vaša datoteka robots.txt je ono što obaveštava pretraživače kojim stranicama da pristupe i indeksiraju ih sa Vašeg sajta a koje stranice da ne indeksiraju. Na primer, ako navedete datoteci robots.txt da ne želite da pretraživač pristupi nekoj stranici, ta strana neće biti indeksirana od strane robota i neće se pojaviti u rezultatima pretrage.  Web korisnici neće moći da pronađu takvu neindeksiranu stranu. Zabrana pristupa određenim stranicama sa vašeg sajta pretraživačima je od suštinskog značaja kako za privatnost vašeg sajta tako i za vaš SEO.

Ovde ćemo objasniti zašto je to tako i dati vam znanje kako da se uspostavite dobru datoteku robots.tkt.

Kako Robots.txt radi

Pretraživači šalju male programe pod nazivom "Pauci" ili "Roboti" da pretražuju vaš sajt i prenose informacije nazad ka pretraživačima, tako da stranice Vašeg sajta mogu biti indeksirane u rezultatima pretrage i pronađu svoje internet korisnike. Vaša datoteka robots.txt nalaže ovim programima da ne traže stranice na Vašem sajtu koje se označavaju pomoću “disallow” komande. Na primer, sledeće robots.txt komande:   

User-agent: *

Disallow: /vesti

... će blokirati sve robote pretraživača da posete sledeću stranicu na vašem sajtu:

http://www.yoursite.com/vesti

Primetićete da pre komande ne Disallow, imate komandu:

User-agent: *

"User-Agent:" deo određuje kojeg robota želite da blokirate i takođe može glasi:

 User-agent: Googlebot

Ova komanda bi mogla blokirati Google robote, dok će ostali roboti i dalje imati pristup stranici:

http://www.yoursite.com/vesti

Međutim, pomoću "*" karaktera, navodite da se komande ispod njega odnose na sve robote. Robots.txt fajl treba da se nalazi u glavnom direktorijumu vašeg sajta. Na primer:

http://www.yoursite.com/robots.txt

Zašto pristup nekim stranicama treba da bude blokiran

Postoje tri razloga zbog kojih biste možda želeli da blokirate stranice pomoću robots.txt fajlu. Prvo, ako imate stranicu na vašem sajtu koji je duplikat druge strane, ne želite da roboti indeksiraju tu stranu zato što bi to dovelo do duplirnja sadržaja koji može da ugrozi vaš SEO. Drugi razlog je ako imate stranicu na vašem sajtu kojoj ne želite da korisnici pristupe osim ako je u pitanju određena radnja. Na primer, ako imate stranice zahvalnosti na kojoj korisnici imaju pravo pristupa određenim informacijama zbog činjenice da su Vam dali svoju e-mail adresu, verovatno ne želite da ostali ljudi imaju priliku da pronađu tu stranicu tako što je indeksirana za Google pretragu.

Verovatno ćete nekada želeti da blokirate stranice ili datoteke sa privatnim podacima, kao što je vaš cgi-bin i držite propusni opseg blokiran zbog toga što roboti mogu indeksirati i slikovne datoteke:

User-agent: *

Disallow: /images/

Disallow: /cgi-bin/

U svim ovim slučajevima, Vaš fajl treba da sadrži komandu u Vašem robots.txt fajlu koja informiše paukove pretraživače da ne da pristupaju toj stranici, odnosno da je ne indeksiraju u rezultatima pretrage, samim tim da izostave mogućnost da potencijalni posetioci dobiju  bilo kakvu informaciju o toj strani. Kako da napravite datoteku robots.txt koja će upravo biti u mogućnosti da to uradi.

Izrada Vašeg Robots.txt Fajla

Kreiranjem besplatnog Google Webmaster Tools naloga, možete lako kreirati datoteku robots.txt izborom opcije “crawler access” pod opcijom “site configuration” na traci menija. Kada ste tamo, možete izabrati “generate robots.txt” i podesiti jednostavan robots.txt fajl .

Kao što možete videti, odaberete opciju "block" pod "action" i zatim navedete robota kojeg želite da blokirate pod “User-agent.” Onda, jednostavno ukucajte direktorijume koje želite da blokirate pod “directories and files.”  Kad sve ovo uradite, budite sigurni da ste napustili  “http://www.yoursite.com”   deo URL adrese. Na primer, ako želite da blokirate sledeće stranice:

http://www.yoursite.com/privatno

http://www.yoursite.com/download

http://www.yoursite.com/admin

Treba da unesete sledeće u “directories and files” u polju Vebmaster Tools Google:

/privatno

/download

 /admin

Nakon dodavanja ovih informacija za sve robote kliknete na “add rule,” da bi na kraju ceo proces završili sa robots.txt koji je izgledao ovako:

User-agent: *

Disallow: /privatno

Disallow: / download

Disallow: / admin

Allow: /

Primetiće te da imate podrazumevanu " Allow " komandu što je korisno ako želite da napravite izuzetak i dozvolite robotu da pristupi stranici koju ste blokirali koristeći komandu " Allow ".

User-agent: *

Disallow: /images/

By placing the command:

Allow: /Googlebot

... Ispod komande „Disallow”,  biće dozvoljen pristup Googlebot samo za images direktorijum Vašeg sajta. Kada je navedeno koje su stranice i datoteke koje želite da blokirate, kliknite na "Download" opciju za preuzimanje svoje robots.txt datoteke.

Installiranje Vaše Robots.txt datoteke

Kada ste odredili karakteristike i downloadovali gotovu robots.txt datoteku, možete da je postavite na glavni (www) direktorijum u oblasti Vašeg sajta CNC. To možete da uradite pomoću besplatnog FTP programa kao što je FileZilla. Druga opcija je da angažujete Web programera da Vam kreira i instalira datoteku robots.txt tako što će te mu unapred reći koje stranice želite da budu blokirane. Ako izaberete ovu opciju, dobar web programer može da završi posao za manje od jednog sata.

ZAKLJUČAK

Važno je da Vašu robots.tkt datoteku ažurirate kada dodate stranice, datoteke ili direktorijume na vašem sajtu a koje ne želite da budu indeksirane od strane pretraživača odnsno da sprečite do one budu dostupne internet korisnicima. Ovo će osigurati bezbednost vašeg sajta i pomoći da postignete najbolje moguće rezultate u celokupnom procesu optimizacije za pretraživače.

*Hvala Vam što pratite naše blog članke koje smo pronašli za Vas. Nastavite svoje putovanje i obezbedite najnovije Web Developer informacije sa našeg sajta.*

Pozovite nas radi dogovora ili ponude - Izrada sajta




Ako Vam je potreban profesionalan sajt onda je izradasajta tu za Vas