Etter andre verdenskrig flyttet han til San Francisco, der han giftet seg med Audrey Mayo i 1946. I januar 1954 trakk han seg fra jobben på dampskipene og kjøpte seg i stedet en gård, Gap View Farm i Charles Town i West Virginia, hvor han hadde storfe og drev jordbruk. Audrey fødte deres eneste barn, datteren Savannah, i 1955.