Selv ved Ludwigs død i 1886 var slottet ikke helt ferdigbygd; betegnende nok manglet tronen fremdeles i den store tronsalen. Etter kongens død ble tårnet og ridderhuset i litt forenklet form fullført. På grunn av sin beliggenhet ble slottet ikke ødelagt i de to verdenskrigene. I 1923 anerkjente regjeringen i Bayern det tidligere kongehusets rett til å bo i slottet. Fra 1933 til 1939 brukte kronprins Rupprecht av Bayern og hans familie slottet som sommerbolig, og det er fremdeles favorittresidensen til hans etterfølgere, særlig sønnesønnen Franz.