Brown ble født i Janesville, i delstaten Wisconsin den 16. september 1857, som sønn av general Theodore F. Brown og Frances Brown. Familien hans har aner tilbake til Plymouth-kolonien (hans stamfar Peter Browne var passasjer på «Mayflower»). Til hans slekt var det også medlemmer som deltok i Den amerikanske uavhengighetskrigen og 1812-krigen. Hans far var med i Den amerikanske borgerkrigen og fikk rang som brigadegeneral for sin rolle i slaget ved Kennesaw Mountain.