James Joseph Byrne var sønn av Philip Joseph og Mary Agnes ( McMonigal) Вyrne. Han hadde fem brødre og tre søster; en av brødrene, Thomas R. Byrne, var borgermester av St. Paul fra 1966 til 1970. En annen bror, Robert Byrne, underviste i latin ved .