Pendant la guerre, il est cité pour acte de bravoure lors de la campagne de la Péninsule, pour ses actions à Antietam, et pour ses actions à Gettysburg. Graham reçoit plusieurs brevets (honneur) de promotion pour ces actions, y compris ceux de commandant (, Malvern Hill), de lieutenant-colonel (, Antietam), et de colonel (, Gettysburg). Son unité, la batterie K du 1st U.S. Light Artillery, fait partie, à partir de 1863, de la célèbre brigade d'artillerie montée des États-Unis.