Bygningen var i disse årene residensen for hertugene av Braunschweig-Lüneburg til 1806, og deretter av hertugdømmet Braunschweig. Som følge av novemberrevolusjonen abdiserte hertug Ernst August III på slottet og forlot Braunschweig for å reise i eksil i Østerrike og bosatte seg i Gmunden sammen med sin familie.