Han var syv år gammel da hans foreldre Hugh og Fannie ( Connolly) Keane emigrerte med han og hans to brødre og to søstre til Nord-Amerika. De kom til Saint John i New Brunswick i Canada i 1846, og flyttet i desember 1848 til Baltimore i USA.