For en mann som Ricky Skaggs kan familielivet knapt skilles fra musikken. Han har vært gift to ganger. I 1971 møtte han Brenda Stanley, kusine av Skaggs' daværende sjef Ralph Stanley. De fikk to barn, Andrew og Mandy. I 2002 ble Andrew far, og Skaggs følgelig bestefar.