El palacio original consistía en un torreón románico, construido hacia el año 1200 y ampliado entre 1471 y 1474 por el maestro constructor Arnold de Westfalia.