Haldeman married Mary Gay Potter, known as "Gay", in 1965.
Joejeva družina je veliko potovala ko je bil še otrok in odraščal je v Portoriku, New Orleansu, Washingtonu, Bethesdi ter Anchorageu na Aljaski.