El palacio se construyó para Willem Adriaan van Nassau, nieto de Mauricio de Nassau, entre 1677 y 1686 en estilo clasicista holandés por Jacob Roman, arquitecto también del palacio Het Loo, y de su decoración interior se encargó el hugonote Daniel Marot.