Edmund Aloysius Walsh var sønn av politimannen John Francis Walsh, og av Catherine Noonan. Grunnskolegangen fikk han fra Bostons offentlige skoler, og ungdomsskolen ved forberedelsesprogrammet for Boston College.