Garfield a intrat în politică ca republican. A servit ca membru al Senatului Ohio (1859–1861). Garfield s-a opus secesiunii confederate, a servit ca general-maior în în timpul Războiului Civil American și a luptat în bătăliile de la , Shiloh și Chickamauga. A fost ales de Congres în 1862 să reprezinte al 19-lea district congresional al Ohio. De-a lungul mandatului congresional prelungit al lui Garfield de după Războiul Civil, acesta a susținut în mod ferm și a primit reputația de orator talentat. Inițial, Garfield a fost de acord cu viziunile în ce privește Reconstrucția, dar mai târziu a favorizat abordarea moderată în ce privește aplicarea drepturilor civile pentru sclavii eliberați.