James Anthony Walsh var sønn av James Walsh og hans hustru Hanna (neé Shea). Etter endt utdannelse fra videregående gikk han inn på Boston College High School, hvor hans ferdigheter som debattant og journalist ble anerkjent og utviklet. Han ble fristet av en karriere som bibliotekar, og studerte deretter ved Harvard College og i Brighton.