Hoe werkt een website crawler?
Sitecheckerbot controleert verschillende versies van de startpagina en stelt vast welke daarvan de 200 HTTP-statuscode heeft.
De crawler begint met het scannen van de hoofdpagina en controleert de robots.txt-regels. Met behulp van links op elke pagina, verzamelt het alle beschikbare URL's en controleert ze op problemen. Als er geen interne links naar een pagina zijn, zal de crawler deze niet vinden.
Page Weight parameter wordt berekend voor elke pagina. Het toont aan hoe sterk de interne link juice van een specifieke pagina is.