*** empty log message ***
*** empty log message ***
Gjør om til ny api.
nytt api
*** empty log message ***
Fiks der vi setter passwordisPasswordProtected til 0 fo å håppe over passord sjekk.
Tilater ikke redirects.
Bytter Visiting->Examine da vi ikke alltid besøker en url, for eks ikke hvis den er seprret av robots.txt
Riktig innhold og tid.
Tar bort XML::XPath, ser ikke ut til å bli brukt.
nedlasting av bilder
Fjernet en del bjørn ting vi ikke bruker, og lagt til støtte for atributter.
Tat bort bjørn ting vi ikke bruker.
Flyttet attributt håntering ut fra sdCrawl til crawleren.
Fjernet kode som ikke var i bruk.
Gjør om til å returnere "" i steden for dat for mime typer vi ikke kjerner til. bbdn vil da pråve å finne riktig type.
*** empty log message ***
*** empty log message ***
Gjør om på crawling delay, og setter at vi skal crawled dynamiske sider.
Div fikser får å få det til å fungere på opera.com.