Durante el siguiente siglo y medio, la posesión del palacio cambiaría de dueños, pasando por manos de la familia Nassau, el rey de Prusia y varios estatúderes, hasta que los franceses invadieron el país en 1795 y le cedieron el palacio a los bátavos (neerlandeses), quienes lo conservan hasta el día de hoy.