John Bernard Fitrzpatrick var sønn av skredderen Bernard og hans hustru Eleanor ( Flinn). Bernard Flinn emigrerte i 1805 med sin famile fra King's County i Irland. John Fitzpatricks morfar tjenestegjorde i et regiment fra Massachusetts under den amerikanske revolusjon.