John Hugh Graham wurde zwei Jahre vor dem Tod von Wilhelm IV., König des Vereinigten Königreichs von Großbritannien und Irland und König von Hannover, in Belfast geboren. Im folgenden Jahr wanderte die Familie Graham in die Vereinigten Staaten ein und ließ sich in der damals noch eigenständigen Stadt Brooklyn nieder. Dort besuchte er öffentliche Schulen. Nach dem Ausbruch des Bürgerkrieges verpflichtete er sich in der Kompanie A des fünften Regiments ("Heavy Artillery") der "New York Volunteers", wo er drei Jahre lang als Captain diente. Für seine Furchtlosigkeit und Verdienste, welche er bei Harpers Ferry und Shenandoah Valley (Virginia) an den Tag legte, wurde er zuerst zum Major und dann zum Brevet-Lieutenant Colonel befördert. Nach dem Krieg ging er dem Eisenwarengeschäft ("hardware business") in Brooklyn nach.