Brasher ble født i Georgetown, hovedstaden i Guyana, som den gang tilhørte Storbritannia. Han vokste opp i Jerusalem. Brasher studerte geologi ved St John's College i Cambridge. 6. mai 1954 var han fartsholder for Roger Bannister, da han som første menneske løp en engelsk mil raskere enn fire minutter.