Custer wurde als dritter Sohn Emanuel und Maria Custers geboren und verpflichtete sich 1861 im Alter von 16 Jahren bei der Armee. Im Rang eines Private nahm er am amerikanischen Bürgerkrieg teil. Unter anderem kam er in den Schlachten am Stones River, von Chattanooga und am Atlanta-Feldzug zum Einsatz. 1864 erhielt er im Alter von 20 Jahren den Rang eines Korporals und diente seinem Bruder im letzten Kriegsjahr als persönlicher Adjutant. Während des Krieges wurde er zweifach mit der Medal of Honor ausgezeichnet und war damit der erste von bisher 19 Soldaten, denen diese Auszeichnung zweifach verliehen wurde.