Tod David Brown var sønn av George W. og Edna Anne (født Dunn) Brown. Han var foreldrenes førstefødte; etter hvert fikk han en bror som fikk navnet Daniel. Familien stammet fra Danmark, Irland, England og Asorene.