John av Gaunts eierskap markerte begynnelsen på Peveril Castles nedgang. Han var den rikeste adelsmannen i England med en rekke festninger som sto til hans disposisjon. Da Peveril Castle var relativt uviktig, besluttet John på ikke å bruke penger på det og i 1374 ga han ordre om fjernet blyet fra dets bygninger slik at det kunne gjenbrukes på Pontefract Castle. Det ble arvet av hans sønn Henrik Bolingbroke, senere kronet som Henrik IV, og det forble under kongelige kontroll, administrert av hertugdømmet Lancaster. Ved begynnelsen av 1400-tallet mistet Peveril mer av sin betydning da de administrative pliktene ble flyttet til et annet sted. Selv om andre festninger som ble styrt av hertugdømmet Lancaster ble utbedret i 1480, er det ingen indikasjon på det samme skjedde ved Peveril. En undersøkelse i 1561 utført av hertugdømmet avslørte at Peveril var i falleferdig tilstand, og som et resultat ble det sammen med Donnington det ene av to festninger som ble forlatt. Festningen var vert for en rekke lokale hoff fram til 1600. En undersøkelse i 1609 fant ut at Peveril var «meget i ruiner og tjente til ingen nytte». Ved et tidspunkt ble festningen benyttet for å huse tamdyr. Med ankomsten av jernbane på 1800-tallet, ble området en turistattraksjon. Hertugdømmet Lancaster gjorde en del reparasjoner på 1800-tallet for å sikre seg at festningens tilstand ikke forverret seg ytterligere, hovedsakelig fjernet bruddstein og la på mørtel. Walter Scotts roman fra 1823, , forfatterens lengste, hadde sin handling på midten av 1600-tallet og som beskrev festningruinene.