Le petit était situé à mi-chemin dans la vallée. Le fondateur du château, , partisan de Guillaume le Conquérant, avait été récompensé pour l'avoir soutenu lors de la conquête normande. La première mention existante de ce personnage en Angleterre rapporte que, en 1068, Guillaume le Conquérant, qui était en train de soumettre les Midlands et le Nord de l'Angleterre, lui donna le nouveau château de Nottingham. Une légende infondée affirme que Peverel était le fils illégitime de Guillaume. Selon le "Domesday Book" de 1086, Peverel était devenu un puissant propriétaire foncier, avec des exploitations dans le Nottinghamshire et le Derbyshire. La date exacte à laquelle il fonda le château est incertaine, bien que celle mentionnée dans le "Domesday Book" fixe le début de la construction en 1086. Il fait partie des 48 châteaux cités dans la liste et il est le seul dans le Derbyshire. Le château a été enregistré comme étant situé à "Pechesers" qui fut traduit par et par . Bien que les premiers châteaux normands fussent généralement construits en bois, le château de Peveril semble avoir été conçu dès l'origine pour être construit en pierre.