William Peveril tenía la custodia de las tierras reales, como el distrito de Hope, y aunque tenía sus propias propiedades, confiaba en el continuo favor real para mantener el poder de esta manera. En 1100 el nuevo rey, Enrique I de Inglaterra le concedió a William "su dominio en el "Pico"". Así, el "Pico" se convirtió en un señorío independiente bajo el control de William Peveril, y el castillo se convirtió en un importante centro de administración de la zona, lo que permitió la recaudación de impuestos. Castleton se benefició del nuevo estatus del castillo y comenzó a crecer como el corazón económico del señorío. William Peveril murió en 1114 y fue sucedido por su hijo, William Peveril el Joven. En la guerra civil conocida como La Anarquía entre el Rey Esteban y la Emperatriz Matilda, Peveril respaldó al bando perdedor y su fortuna sufrió después de su captura en la Batalla de Lincoln en 1141. En 1153 se sospechaba que Peveril intentaba envenenar a Ranulf de Gernon, cuarto conde de Chester. En 1153 el futuro rey Enrique II acusó a Peveril de "saqueo y traición" y amenazó con confiscar sus propiedades y entregárselas al conde de Chester. Dos años más tarde, Enrique, ahora rey, cumplió con sus represalias. El conde de Chester ya estaba muerto y el rey se quedó con la propiedad. Una vez bajo el control real, Peveril se convirtió en el centro administrativo del Bosque de High Peak.