Ved avslutningen av Huset Hohenstaufen på slutten av 1200-tallet mistet festningen sin betydning. I 1410 ble det overført til hertugdømmet Palatinate-Zweibrücken. I 1602 ble det rammet av lynet og det ble siden forlatt. Med tiden forfalt festningen mer og mer. Kongedømmet Bayern fikk satt i gang restaurering i 1841 og i 1866 ble velferdsforbund for festningens bevarelse opprettet. I 1935 ble det gjort utgravninger foran hovedtårnet. I 1937 ble det oppgradert til «nasjonalt konsekrasjonsted». Nye bygningsarbeider ble satt i gang i 1938, men det nye palasset var ikke en historisk realistisk rekonstruksjon. Etter den andre verdenskrig kom nye utbedringer i gang fra 1954 med byggingen av slottsforvalterhus og en ytre ringmur. Arbeidet fortsatte inn i nyere tid.