I 1223 ble festningen gitt tilbake til kronen. På 1200-tallet var det perioder av utbygninger av borgen, og ved 1300 hadde dens endelige form blitt etablert. Mot slutten av 1300-tallet ble herresetet gitt til John av Gaunt, hertug av Lancaster. Ettersom han hadde liten bruk for festningen, beordret han en del av dens materialer til fjernet for bruk andre steder, noe som markerte begynnelsen på dens nedgang. Siden John av Gaunt har festningen blitt administrert av hertugdømmet Lancaster. Peveril Castle ble mindre viktig administrative og ved 1609 var det «meget i ruiner og tjente til ingen nytte». I 1823 benyttet forfatteren Walter Scott festningen som setting for romanen og med handling fra tiden rundt 1678. Stedet er i dag håndtert av English Heritage og er omgitt av en nasjonalpark. Peveril Castle er beskyttet som et Scheduled Monument, det vil si vernet arkeologisk område, og bygningsvern gradert I.