Brown ble født i Govan, nær Glasgow. Hans far, John Ebenezer Brown, var prest i den skotske kirke. Brown gjorde det svært bra på skolen og ble akseptert som historiestudent ved Universitetet i Edinburgh som 16-åring. I studietiden ble han skadet i en rugbykamp, der han fikk et spark i hodet og fikk netthinneavløsning. Han ble blind på venstre øye, tross behandling, inkludert flere operasjoner. Senere merket han samme type symptomer på høyre øye i en tenniskamp på universitetet. Etter ytterligere operasjoner, ble øyet reddet, noe som forhindret at han ble fullstendig blind.