Francis Joseph Spellman var sønn av William og Ellen ( Conway) Spellman. Hans far, hvis egne foreldre hadde innvandret tll USA fra Clonmel og Leighlinbridge i Irland, drev dagligvareforretning. Han hadde to brødre, Martin og John, og to søstre, Marian og Helene, og som barn var han korgutt i .