Han ble født , på St. Vincent Hospital i New York, og valgte seg fornavnet Gregory til konfirmasjonen. I det italiensk-amerikanske miljøet ble han kalt Nunzio, men brukte heller det selvvalgte navnet. Moren, Michelina Corso (pikenavn Colonna) var fra Miglianico i Italia, og utvandret til USA i 9-årsalderen. 16 år gammel giftet hun seg med Sam Corso, også en førstegenerasjons innvandrer fra Italia, og fødte Nunzio samme år. Familien bodde på hjørnet av Bleecker Street og MacDougal Street i hjertet av Greenwhich Village i New York til 1932. Da den store depresjonen var på sitt verste, etterlot Michellina Corso den ett år gamle Nunzio hos et katolsk barnehjem og forsvant. Av faren ble han fortalt at moren hadde flyktet fra familien og reist til Italia, og at hun var blitt prostituert og falt i unåde. De neste elleve årene bodde han i minst fem forskjellige fosterhjem uten noen særlig kontakt med sin far.