Edward E. Swanstrom var sønn av innvandrerne Gustave og Mary ( Cronin) Swanstrom. Faren var svensk, og moren irsk. Han tok bachelorgrad fra Fordham University i 1924. Han tok så katolsk presteutdannelse ved i Brooklyn.