W 1859 roku został członkiem legislatury stanowej Ohio, a rok później uzyskał prawo do prowadzenia samodzielnej praktyki prawniczej. W czasie wojny secesyjnej zaciągnął się do wojska, gdzie w stopniu pułkownika służył w oddziale w Ohio. Brał udział m.in. w bitwach pod Middle Creek czy Shiloh. 11 stycznia 1862 roku został awansowany na generała brygady. Jesienią tego samego roku został wybrany do Izby Reprezentantów, jednak pozostał w czynnej służbie wojskowej. 19 września 1863 roku otrzymał awans na generała majora, a 5 grudnia, przeszedłszy w stan spoczynku, został kongresmenem. Jako reprezentant Partii Republikańskiej popierał Abrahama Lincolna, choć nie zgadzał się z niektórymi jego decyzjami. Po skutecznym zamachu na Lincolna prezydentem został Andrew Johnson, którego Garfield nie popierał i głosował za jego zdjęciem z urzędu. Skorumpowana administracja Granta nadszarpnęła popularność republikanów. Po wycofaniu się z życia politycznego Thaddeusa Stevensa Garfield, wraz z Jamesem Blaine’m, objął przywództwo w partii. W 1877 roku Garfield zasiadał w komisji, która weryfikowała wybór Rutherforda Hayesa na prezydenta.