Etter han la opp flyttet Baugh og kona Edmonia Smith til gården hans vest for Aspermont i Texas, hvor de fikk fire gutter og en jente. Edmonia døde i 1990, 52 år etter de to giftet seg etter at de hadde vært kjærester i high school. Ifølge sønnen hans fikk Baugh mye mer glede ut av gården enn han noengang hadde fått fra amerikansk fotball; selv om han likte sporten ville han valgt å ikke drive med idrett om han kunne leve hele livet sitt om igjen.