Slottet ble bygget mellom 1431 og 1440 av hertug Albrecht III av Bayern som landeiendom. Hans sønn hertug Sigismund abdiserte senere og trakk seg tilbake til slottet, hvor han viet seg til oppførelse av kirker og borger. Han utvidet også Schloss Blutenburg.