Ireland ble født i Irland og kom som barn til USA med sine foreldre i 1848, som emigrerte på grunn av hungersnøden etter den store potetpesten som rammet hjemlandet. De slo seg etter en tid ned i Saint Paul i Minnesota i 1852. Han fikk presteutdannelse i Meximieux i Frankrike og vendte tilbake til USA i 1861.