Un primer palacio integrado en las fortificaciones, fue edificado hacia el año mil, por príncipe-obispo Notger, pero desapareció en un incendio del año 1185, el palacio fue reconstruido bajo Rodolfo de Zähringen.