Gross studerte først i Warszawa. Etter å ha blitt fengslet under den politiske krisen i Polen i 1968, der studenter demonstrerte mot kommunistregimet og regimet svarte med en antijødisk kampanje, flyttet han i 1969 til utlandet. Han tok doktorgraden ved Yale University i 1975, og underviste siden der. I 1992 ble han professor i statsvitenskap i New York, og fra 1994 til 1998 var han sjefredaktør for tidsskriftet . Senere deltok han i grunnleggelsen av tidsskriftet . Fra 2003 har han undervist i historie ved Princeton University.