Peveril Castle står markant på en kalksteinsrygg over den vestlige enden av Hopedalen midt i et oldtidslandskap. På nordsiden av dalen er Mam Tor, en bygdeborg fra bronsealderen, og rundt 3 km øst ved sognet Brough and Shatton står den romerske castrum . Dalen danner en naturlig kommunikasjonslinje og dens betydning hadde sin årsak til de verdifulle mineralressursene i området, særskilt bly. Den smale festningen Hope Castle lå halvveis ned i dalen. Festningens grunnlegger, William Peveril, var en av de fransktalende normannere som fulgte Vilhelm Erobreren i erobringen av angelsaksiske England. Han ble belønnet for sin innsats i erobringen. Den første bevarte nedtegnelsen av ham i England er i 1068 da han ble begunstiget med den nye festningen i Nottingham av Vilhelm Erobreren som da var i prosessen med å underlegge seg Midtlands og nordlige England. Det er en fortelling om at Perveril var Vilhelms illegitime sønn, men det er ubekreftet og ikke underbygd. Ved Dommedagsbokens undersøkelser i 1086 hadde Peveril blitt en mektig landeier med forpaktet jord i Nottinghamshire og Derbyshire. Det nøyaktige året han begynte å opprette borgen er usikkert, skjønt det må ha vært påbegynt før 1086 da det er nedtegnet i Dommedagesboken, en av 48 festninger som er nevnt i undersøkelsen og den eneste i Derbyshire. Festningen ble nedtegnet som stående ved Pechesers, noe som har blitt oversatt til «Peak's Tail» eller «Peak's Arse». Selv om de første stadiene i byggingen av tidlige normanniske festninger ble bygd i tømmer, synes det som om Peveril Castle har vært planlagt og utført i stein fra begynnelsen.