Festningen begynte på 1000-tallet under navnet som mange andre normanniske festninger, bygd opp av tømmer med en jordvoll, en type som på engelsk karakteriseres som «motte and bailey». Den ble kalt Blythe Castle og ble reist av Roger de Busli, en betydelig jordeier som i henhold til holdt 174 gods i Nottinghamshire på land som ble gitt til ham av Vilhelm Erobreren. Borgen ble med hensikt reist ved grensen mellom Nottingham og Yorkshire da Roger hevdet autoritet i begge områder. Etter en beleiring i 1102 la Robert Bloet til ytterligere en borgmur som voll rundt festningen – den første delen som ble bygd i stein.