Dit is 'n tipe sagteware wat deur soekenjins gebruik word om nuwe inhoud van die internet vir indeksdoeleindes te verwyder.
1. Jou webwerf moet op 'n Apache-bediener vertoon word. Deesdae, selfs die webhosting maatskappye wat halfwaardig in hul werk is, gee jou toegang tot die vereiste lêer.
Nog 'n manier is om al die loglêers van die bediener af te laai en dit oop te maak met behulp van 'n teksredakteur. Hul ligging op die bediener kan verander afhangende van die konfigurasie van jou bediener. hulp van u webhost.
As jy weet watter bladsy besoek is, of die tyd van besoek, is dit makliker om met 'n ongewenste bot te kom. U kan die logbestand met hierdie parameters soek.
Een keer het jy opgemerk watter bots jy moet blokkeer; U kan dit dan in die. Htaccess-lêer insluit. Let asseblief daarop dat die blokkering van die bot nie genoeg is om dit te stop nie. Dit kan terugkom met 'n nuwe IP of naam.
Die eerste reël beteken dat die bediener alle versoeke wat ooreenstem met die patrone wat u gespesifiseer het, sal sluit en alle ander toelaat.
Die eerste reël verseker dat die herskripmodule geaktiveer is. Lyn twee is die toestand waarvoor die reël van toepassing is. Die "F" in reël 4 vertel die bediener om 'n 403 terug te stuur: Verbode terwyl die "L" beteken dit is die laaste reël.
U sal dan die .htaccess-lêer op u bediener oplaai en die bestaande een oorskryf. Met verloop van tyd sal jy die bot se IP moet opdateer. As u 'n fout maak, moet u die rugsteun wat u gemaak het, laai.