Gross ble født i Washington i en jødisk familie og han voks opp i USA. Hans far var Bertram Myron Gross (1912–1998). Gross fikk en bachelorgrad og mastergrad fra det hebraiske universitetet i Jerusalem, Israel, i 1962. Han tok videre en filosofisk doktorgrad ved University of California, Berkeley i 1966 under veiledning av Geoffrey Chew.