Cuando estalló la Guerra Civil o Guerra de Secesión, James Garfield fue encargado del reclutamiento del 42º Batallón de Infantería, formado por voluntarios de Ohio, del que fue nombrado coronel. A finales de ese mismo año se puso al frente de una brigada para atacar a las fuerzas confederadas posicionadas al este de Kentucky. El 10 de enero de 1862, Garfield derrotó por completo a las tropas enemigas del general Humphrey Marshall en la famosa Batalla de Middle Creek, lo que le valió ser ascendido al grado de general de brigada. En abril de ese mismo año, su regimiento participó decisivamente en la Batalla de Shiloh, gracias a la cual fue nombrado jefe del Estado Mayor del general William Starke Rosecrans. Finalmente, en virtud de sus notables servicios en la Batalla de Chickamagua el 19 de septiembre de 1863, James Garfield fue ascendido al grado de general mayor.