William Peveril den yngre døde i 1155 og da hans eneste mannlige etterkommer hadde dødd før ham, var det opp til hans datters ektemann, Robert de Ferrers, 2. jarl av Derby, å opprettholde familiens krav på de konfiskerte eiendommene. Kong Henrik II besøkte Peveril Castle ved tre anledninger under sitt styre; under det første besøket i 1157 var han vert for kong Malcolm IV av Skottland som ga Henrik sin hyllest etter å ha avgitt Cumberland og Westmorland til den engelske kongen. Henrik besøkte stedet igjen i 1158 og 1164. Da en gruppe baroner ledet av Henriks sønner – Henrik den unge konge, Geoffrey II, hertug av Bretagne, og prins Rikard, den senere Rikard Løvehjerte – gjorde opprør mot kongens styre, brukte Henrik 116 pund på byggingen av festningene Peveril og Bolsover i Derbyshire. Garnisonen ble også forsterket; tidligere hadde Peveril ble voktet av to vaktmenn og en portvakt, men dette ble utvidet til en styrke på 20 riddere som ble delt mellom festningene i Bolsover og Nottingham i tiden under kongssønnenes opprør. Etter at opprøret ble avsluttet i 1174 ble det tatt ytterligere skritt for å forbedre Peveril Castle, og «Pipe rolls», en samling finansielle opptegnelser, har nedtegnet de kongelige utgiftene og viser at det mellom 1175 og 1177 ble benyttet 184 pund på byggingen av et borgtårn. Bygging i stein ville ha vært en kostbar foretakende, og selv om Peverils borgtårn var lite, viste moderate steinfestninger som eksempelvis det samtidige Orford Castle, at det kunne koste tusenvis av pund. Henrik IIs gjennomsnittlige inntekter under hans styre er beregnet til rundt 10 000 pund i året. Den svake bevarelsen av dokumentkilder betydde at det er usikkert når deler av festningen ble bygget, og arkeologiske undersøkelse har ikke klart å datere steinverket. Henrik II døde i 1189 og ble etterfulgt av sin sønn Rikard Løvehjerte. Kort tid etter hans kroning ga kongen herresetet Peak, inkludert festningen til sin bror Johan. Mens Rikard var på korstog gjorde Johan opprør; da Rikard kom tilbake til landet, konfiskerte han herresetet.