A partir de 1538 se inició la demolición del castillo, que fue reemplazado por un Palacio, obra del arquitecto Andreas Schlüter, quien le dio su aspecto general.