Det opprinnelige huset ble bygget av Johan Hinlopen ikke lenge etter 1692. Han hadde tjent en formue som postmester for «het Antwerps Postcomptoir», Antwerpens postkontor, som drev postruten mellom Amsterdam og Antwerpen. Denne postruten transporterte også passasjerer, og etter at Leidse trekvaart ble åpnet i 1657 foregikk stadig mer av transporten med flatbunnede skuter trukket av hester (ned.: trekschuit) enn hva som gikk med postvogn. Dette gjorde at hagen «bak» huset stadig oftere ble sett som hagen «foran» huset. På denne tiden ble hagen som senere ble kjent som grunnlagt mellom Herenweg og Leidsevaart. Den vises som en geometrisk hage på et kart som landmåleren M. Walraven tegnet over landstedet i 1708.