Nolte har vært gift og skilt tre ganger. Han har en sønn som heter Brawley Nolte (født 1986). Hans sønn er også skuespiller og hadde rollen som Mel Gibsons kidnappede sønn i filmen fra 1996.