Gibbons var sønn av en irsk innvandrer fra County Mayo til Amerika. Han hadde to brødre og tre søstre. Da farens helsetilstand forverret seg dro familien tilbake til Irland. Da faren døde i 1847 og familiens økonomi led, vendte moren tilbake til USA med barna.