Garfield bắt đầu sự nghiệp chính trị của mình vào năm 1857 với tư cách đảng viên Đảng Cộng hòa. Ông từng làm việc tại Thượng viện tiểu bang Ohio từ năm 1859 tới đến năm 1861. Ông phản đối việc ly khai của Liên minh miền Nam Hoa Kỳ và từng giữ chức thiếu tướng quân đội Liên bang miền Bắc trong thời Nội chiến. Trong quân đội, ông tham chiến tại những trận như Middle Creek, Shiloh, hay Chickamauga. Ông được làm việc tại Quốc hội lần đầu vào năm 1862 với tư cách là dân biểu Hoa Kỳ đại diện khu vực Quốc hội thứ 19 của Ohio. Trong suốt thời gian dài phục vụ trong Quốc hội sau cuộc Nội chiến, ông kiên quyết ủng hộ hệ thống kim bản vị và có được sự nổi tiếng nhờ tài hùng biện xuất chúng của mình. Ban đầu, Garfield ủng hộ các đảng viên Cộng hòa Cấp tiến trong các vấn đề liên quan đến việc Tái thiết, nhưng sau này lại đi theo cách hạn chế thực thi quyền công dân cho những người nô lệ tự do.