Gregory ble født i Tarzana i Los Angeles i California, og vokste opp i Encino og Van Nuys, som sønn av Carolyn (født Fitzpatrick), en kundebehandler, og Don Gregory (opprinnelig Don Ginsburg), en film- og teaterprodusent. Hans far var jøde og hans mor var irsk-katolsk. Selv om han tok bar mitzvah og gikk på hebraisk skole gjennom uken, gikk han også på søndagsskole og feiret jul med familien sin. Gregory er praktiserende jøde i dag.