I White Youth Alliance møtte han Chloê Hardin, som han giftet seg med i 1974, det samme året han tok eksamen ved universitet. Hardin fødte to døtre, Erika og Crystal, men i 1984 ble de skilt, og hun giftet seg senere med Don Black, en venn av Duke som også var medlem av Ku Klux Klan.