Murphy werd geboren in Jersey City, New Jersey. Hij ging naar de Newark Academy toen de Amerikaanse Burgeroorlog uitbrak. In juli 1862 trad hij toe tot het leger van de noordelijke staten, ook al was hij pas 16 jaar oud. Op 19 juli 1862 werd hij soldaat in compagnie A van de 13e vrijwillige infanterie van New Jersey. Hij maakte promotie: op 25 augustus 1862 werd hij korporaal, op 22 februari 1863 werd hij tweede luitenant en op 24 februari 1864 werd hij eerste luitenant. Zijn regiment vocht in de slagen bij Antietam, Chancellorsvile, Gettysburg, de Atlanta Campagne, in "Shermans Mars naar de Zee", en Bentonville. Op 8 juni 1865 werd Murphy eervol ontslag verleend.