Brown Countys totale areal er 2 478 km² hvorav 34 km² er vann. I 2000 hadde fylket 37 674 innbyggere og administrasjonssenteret ligger i byen Brownwood. Fylket har fått sitt navn etter Henry Stevenson Brown som var offiser under slaget ved Velasco under revolusjonen i Texas.