Så ble han igjen i landet og dannet familie. Første hjemmet var Det lille, bare 20 m² store huset, som han bygde i Djupdalen nær Lissma sør for Stockholm, er nå gjenoppbygd på Lovön. Fra 1946 leide familien et 1700-tallshus i Drottningholm og i 1963 ble bolighuset med kontor i Drottningholm, Villa Erskine oppført.