Fra 1703 ble ikke slottet lenger brukt til beboelse, så man begynte å rive det ned. Murstenene ble – med kongelig tillatelse – blant annet brukt til waisenhuset Flensborghus nede i byen. De siste slottsrestene ble sprengt bort omkring 1900.