Hazlewood var gift tre ganger. 5. desember 1949, giftet han seg med kjæresten sin fra high-school tiden, Naomi Shackleford. Paret fikk to barn, Debbie (f. 1954) og Mark Lee (f. 1955), før de skilte seg i 1961. Hazlewood brukte Naomis pikenavn for The Shacklefords, en kortvarig vokalgruppe som han dannet sammen med Marty Cooper tidlig på 1960-tallet i Los Angeles. Naomi bidro selv med sang ved gruppens innspillinger. I 1983 giftet Hazlewood seg med Tracy Stewart, der han oppdro datteren til Tracy Stewart, Samantha (f. 1980) som om hun var hans egen datter. Det ekteskapet endte også med en skilsmisse, i 1992. I november 2006, mindre enn et år før hans død, giftet han seg med Jeane Kelly, hans kjæreste siden 1993, i en Las Vegas "drive-through" seremoni. Kelly dikuterte sine minner om Lee i et intervju. Hun uttalte at: "He was rude and sweet, innocent and depraved, proud and bitter. He absorbed everything he heard, saw, and read — from Port Neches to L.A. to Stockholm—and then made his own music in his own defiant way".