Fra han var barn ble han ansett som et geni. Brown fullførte Bronx high school 15 år gammel med beste karakterer og avla sin doktoreksamen i fysikk ved Columbia University i en alder av 21 år. Etter studietiden arbeidet han som forsker ved University of California, Berkeley. I 1952 ble han del av bemanningen ved Lawrence Livermore National Laboratory i California, og i 1960 ble han laboratoriets direktør.