Byggingen av slottet på starten den 2. september 1645 under ledelse av Bartholomeus Drijffhout, etter tegninger av Pieter Post og Jacob van Campen. Det har vært bebodd av Elisabeth Stuart og hennes mann Fredrik V av Pfalz, som da bodde i eksil. Da bygget var klart ble det benyttet som sommerbosted av Frederik Hendrik og hans hustru Amalia von Solms. Etter hans død i 1647 dedikerte hun slottet til sin mann. Under ledelse av Jacob van Capmen ble fylt med bilder av den avdøde prinsen, utført av datidens største kunstnere som Gerard van Honthorst, Jacob Jordaens, Thomas Willeboirts Bosschaert og Jan Lievens. Matsalen ble designet av Daniel Marot.