Barty var en kjent aktivist for å fremme rettighetene for andre kortvokste mennesker. Barty grunnla organisasjonen Little People of America for å hjelpe for å hjelpe ham med sin aktivisme. Barty var gift med Shirley Bolingbroke fra Malad City i Idaho, fra 1962 og frem til hans død. De hadde to barn sammen, Lori Neilson og Braden Barty som var produsent og regissør på TV og film. For hans mange opptredener på TV ble Barty tildelt en stjerne på Hollywood Walk of Fame.