Semaal: Hoe om Darodar Robots.txt te blokkeer
Robots.txt lêer is 'n tipiese tekslêer wat instruksies bevat oor hoe webkruiper of bots 'n webwerf moet kruip. Hul aansoek is duidelik in soekenjins bots wat algemeen voorkom in talle geoptimaliseerde webwerwe. As deel van die Protocol vir die uitskakeling van robots (REP) vorm die robots.txt-lêer 'n noodsaaklike aspek van die indeksering van webwerf-inhoud, asook om 'n bediener in staat te stel om gebruikersversoeke dienooreenkomstig te verifieer.
Julia Vashneva, die Semaal Senior Customer Success Manager, verduidelik dat die koppeling 'n aspek van Search Engine Optimization (SEO) is - vendo tavoli e sedie per ristorante usate. Dit behels die verkryging van verkeer van ander domeine binne jou nis. Vir die "volg" skakels om skakel sap oor te dra, is dit noodsaaklik om 'n robots.txt-lêer op u webtuiste hosting-ruimte in te sluit om op te tree as 'n instrukteur van hoe die bediener met u webwerf kommunikeer. Uit hierdie argief is die instruksies teenwoordig deur toe te laat of te verhoed hoe sekere spesifieke agente van die gebruiker gedra.
Die basiese formaat van 'n robots.txt-lêer
'n robots.txt lêer bevat twee belangrike lyne:
Gebruiker-agent: [gebruiker-agent naam]
Toestaan: [URL-string moet nie gekraw word nie]
'n Volledige robots.txt-lêer moet hierdie twee lyne bevat. Sommige van hulle kan egter verskeie reëls van gebruikersagente en -riglyne bevat. Hierdie opdragte kan aspekte insluit soos toelaat, ontken of kruip-vertragings. Daar is gewoonlik 'n lynbreuk wat elke stel instruksies skei. Elkeen van die instruksies kan of word nie toegelaat nie, word geskei deur hierdie lynbreuk, veral vir die robots.txt met veelvuldige lyne.
'n robots.txt-lêer kan byvoorbeeld kodes bevat soos:
In hierdie geval is dit 'n blok robots.txt lêer wat Darodar web crawler beperk om toegang tot jou webwerf te verkry. In die bogenoemde sintaksis blokkeer die kode aspekte van die webwerf, soos inproppe, API en die kommentaar afdeling. Uit hierdie kennis is dit moontlik om talle voordele te behaal om 'n robot se tekslêer effektief uit te voer. Robotte..Txt lêers kan talle funksies uitvoer. Byvoorbeeld, hulle kan gereed wees om:
1. Laat alle web crawlers inhoud toe op 'n webwerf bladsy. Byvoorbeeld;
In hierdie geval kan alle gebruikersinhoud verkry word deur enige webkruiper wat versoek word om na 'n webwerf te kom.
2. Blok 'n spesifieke webinhoud uit 'n spesifieke gids. Byvoorbeeld;
Hierdie syntax met gebruikersnaam Googlebot behoort aan Google. Dit beperk die bot van toegang tot enige webblad in die tou www.ourexample.com/example-subfolder/.
3. Blokkeer 'n spesifieke webkruiper vanaf 'n spesifieke webblad. Byvoorbeeld;
Die gebruiker-agent Bing bot behoort aan Bing web crawlers. Hierdie tipe robots.txt-lêer beperk die Bing-webkruiper om toegang tot 'n spesifieke bladsy te verkry met die tou www.ourexample.com/example-subfolder/blocked-page.
Nie elke gebruiker gebruik jou robts.txt lêer nie. Sommige gebruikers mag besluit om dit te ignoreer. Die meeste van sulke web crawlers sluit Trojans en malware in.
Vir 'n Robots.txt-lêer om sigbaar te wees, moet dit beskikbaar wees in die top-webwerf-gids.
Die karakters "robots.txt" is hooflettergevoelig. As gevolg hiervan, moet u dit nie op enige manier verander nie, insluitend kapitalisering van sommige aspekte.
Die "/robots.txt" is publieke domein. Enigeen kan hierdie inligting vind wanneer hy dit by die inhoud van enige URL voeg. Jy hoef nie noodsaaklike besonderhede of bladsye te indekseer wat jy wil hê hulle moet privaat wees nie.