Le domaine faisait partie du quartier français de Basseterre, mais à ce jour, on ne sait rien de ses propriétaires français. En 1714, le domaine est la possession du colonel Walter Douglas, un des sept fils de William Douglas of Baads et de sa femme Joan. Walter Douglas combat au côté de Guillaume III d'Orange-Nassau lors de son invasion de l'Angleterre en 1688 et, à son retour sur l'île en 1711 à la suite du meurtre du gouverneur Parke à Antigua, il est nommé gouverneur des Îles Sous-le-Vent. En 1714, alors que la reine Anne envisage de restituer à la couronne française les terres françaises de Saint-Christophe, Douglas et d'autres lui adressent une pétition demandant que, si les propriétés doivent être rendues aux français, ils devraient les indemniser pour les améliorations apportées. En 1714, Walter Douglas hypothéqua sa plantation auprès d'Alexander Baxter, puis une deuxième fois en 1723. C’est en 1738 que la grande maison de Pensez-y bien, plus connue sous le nom de Maison Blanche, est construite.