Cooke var den yngste av tre barn. Han var sønn av Michael og Margaret (født Gannon) Cooke. Begge foreldrene var fra County Galway i Irland, og oppkalte sønnen etter Terence MacSwiney, som var Lord Mayor of Cork og som døde under en sultestreik under den irske uavhengighetskrigen. Michael Cooke var sjåfør og bygningsarbeider. Da Cooke var fem år flyttet familien fra Morningside Heights på Manhattan til nordøst i bydelen Bronx. Etter at moren døde i 1930, hjalp hans tante Mary Gannon med å oppdra søskenflokken.