Alfred J. Jolson var sønn av Alfred James Jolson sr. og hans hustru Justine Elizabeth (født Houlihan). Hans bestefar, Gudmundur Hjaltasen, var islandskfødt innvandrer til USA i 1905. Etter gikk han i 1946 inn i jesuittenes New England-provins. Han studerte så ved Shadowbrook i Lenox i Massachusetts, og deretter ved det amerikanske Boston College og det engelske Weston College. Fra Harvard University tok han en MBA, ved Det pavelige universitet Gregoriana tok han doktorgrad i økonomi.