Gazzara ble født i New York City, sønn av italienske innvandrere Angelina (født Cusumano) og Antonio Gazzarra, som var en arbeidsmann og snekker. Gazzara vokste opp i New Yorks Kips Bay nabolag. Han bodde på 29th Street og gikk på New York Citys Stuyvesant High School, og ble til slutt uteksaminert fra Saint Simon Stock i The Bronx. Noen år senere sa han at hans kjærlighet for teater hadde reddet ham fra et liv i kriminalitet i tenårene. Han begynte på City College of New York for å studere elektroteknikk. Etter to år angret han. Han tok timer i skuespill ved Dramatic Workshop of The New School i New York med den innflytelsesrike tyske regissøren Erwin Piscator og etterpå ble det Actors Studio.