W połowie XVII wieku zbudowano dla Cornelisa de Graeff, burmistrza Amsterdamu posiadłość wiejską w Soestdijk. Po wojnie 1672 roku syn Cornelisa, Jacoba de Graeff, sprzedał posiadłość księciu Wilhelmowi III Orańskiemu. Wtedy rozpoczęto budowę pałacu, początkowo jako pałacyku myśliwskiego. Budowniczym był holenderski architekt Pieter Post, twórca dwóch innych pałaców królewskich (Paleis Noordeinde i Paleis Huis ten Bosch).