Breitbart ble født i Los Angeles, California 1. februar 1969. Han ble adoptert av Gerald og Arlene Breitbart, henholdsvis en restauranteier og banker, og vokste opp i Hollywood, California. Han ble oppdratt jødiske, hans mor hadde konvertert til jødedommen ved å gifte seg med hans adoptivfar. Han gjennomførte en bar mitzvah. Han sa at hans fødselsattest indikerte at hans biologiske far var en visesanger.