Mathis nació en Gilmer, Texas siendo el cuarto de los siete hijos de Clem Mathis y su esposa Mildred Boyd.