Garfield nasceu na pobreza em uma cabana de toras e cresceu pobre em Nordeste de Ohio. Após se formar na Williams College, Garfield estudou direito e se tornou um advogado antes de se juntar ao Partido Republicano em 1857. Ele serviu como membro do senado estadual em Ohio de 1859 a 1861. Garfield se opôs a Confederação e serviu no Exército da União durante a Guerra de Secessão, lutando nas batalhas de Middle Creek, Shiloh e Chickamauga. Ele foi eleito para o Congresso em 1862 para representar o 19º distrito de Ohio. Ao longo do serviço parlamentar de Garfield após a guerra, ele firmemente apoiou o padrão-ouro e ganhou a reputação de orador habilidoso. Ele inicialmente se bandeou com os Republicanos Radicais na questão da Reconstrução, mas mais tarde favoreceu uma abordagem moderada para a aplicação dos direitos civis para escravos libertos.