Young var gift tre ganger og hadde syv barn og stebarn. I sitt første ekteskap med Edna «Rassy» Ragland fikk han sønnen Neil og Bob. Senere fikk han blant andre datteren Astrid som ved flere anledninger har opptrådt som bakgrunnsanger for broren Neil, blant annet på Kalvøya ved Oslo i 1997.