Bailey giftet seg i 1957 i England med britiske Margot Speight (fra Yorkshire i England), som han møtte på White Horse Tavern i Greenwich Village i New York. Ette flere år Manhattan flyttet de til Stonington i Connecticut, der de bodde i ti år, of fikk fire døtre: Liz, Annie, Katie og Rachel. I 1970 flyttet de til Greenwich i England, og senere til Mersea Island. De var seilere, og han skrev bøker om sine seilturer.