A partir de 1654, el castillo fue reconstruido por el príncipe-obispo Theodor Adolf von der Recke y su sucesor Ferdinand von Fürstenberg, sufriendo algunos cambios arquitectónicos con los que el castillo ganó cúpulas barrocas para sus tres torres.