Mit 16 Jahren gewann Henry sein erstes Ruderrennen im Skull einmal um Ellis Island. Mit 18 war er der beste Mehrkämpfer New Yorks. Er besuchte die "Mechanics Institute School" und schloss sie 1854 ab. Zunächst arbeitete er nun als Buchhalter. Er meldete sich freiwillig im Mai 1861 und kämpfte im Sezessionskrieg auf der Seite des Nordens im "83rd New York Infantry Regiment". In dem Schlacht am Antietam wurde er leicht verwundet, im Schlacht bei Spotsylvania Court House so schwer, dass die Befürchtung bestand, dass sein linkes Bein amputiert werden musste. Er wurde daraufhin hoch dekoriert und ehrenhaft aus der Armee entlassen. In der Armee hatte er einige erfolgreiche Boxkämpfe bestritten und galt als Meister seines Regiments. Nach seiner Armeezeit konzentrierte er sich auf den Wettkampfsport. Zu dieser Zeit wurde noch nicht zwischen Profis und Amateuren unterschieden, so dass dies ein einträglicher Beruf war. 1871 war er der erste amerikanische Meister im "100-Yards-Lauf" (Bestzeit 10,5 Sekunden = ca. 11,5 für 100 Meter), der erste Meister im Kugelstoßen und im turnerischen Mehrkampf. 1876 wurde er der erste amerikanische Meister im Schwergewichtsboxen und siegte als Ersten im Madison Square Garden durch KO. Harry galt als der stärkste Mann seiner Zeit.