Patrick fue el mayor de los diez hijos del matrimonio formado por Hugh Brunty y Eleanor McCrory, unos humildes granjeros irlandeses del Condado de Down.