Vuonna 1861 Etelävaltiot erosivat Yhdysvalloista, ja uusien maiden, etelän Konfederaation ja pohjoisen Unionin, välille syttyi sisällissota. Pian sisällissodan syttymisen jälkeen Garfield liittyi Unionin armeijaan ja auttoi kokoamaan Ohion 42. vapaaehtoisjalkaväkirykmenttiä. Rykmentissä hänestä tehtiin aluksi everstiluutnantti ja jo muutaman viikon päästä eversti. Vaikka Garfield ei ollut aiemmin palvellut armeijassa, hän oli hyvä johtaja. Garfieldin johtama prikaati ajoi marraskuussa 1861 Konfederaation joukot eteläisestä Kentuckysta. Kentuckyn taistelujen lisäksi Garfield palveli muun muassa Shilohin ja Chickamaugan taisteluissa sekä Corinthin piirityksessä. Syyskuuhun 1863 mennessä Garfieldid oli ylentynyt jo kenraalimajuriksi, mikä teki hänestä koko Unionin armeijan nuorimman kenraalimajurin. Garfield toimi myös Cumberlandin armeijan komentajan kenraalimajuri William S. Rosecransin esikuntapäällikkönä.