Garfield grandit dans le milieu modeste d'une ferme de l'Ohio où il est élevé par sa mère veuve et son frère aîné. Pour financer ses études, Garfield exerce de nombreux métiers avant d'être diplômé en 1856 du Williams College dans le Massachusetts. Un an plus tard, il entre en politique au sein du Parti républicain et fait campagne contre l'esclavage dans l'Ohio. Il épouse Lucretia Rudolph en 1858 et est admis deux ans plus tard au barreau tout en étant élu au Sénat de l'Ohio, entre 1859 et 1861. Garfield s'oppose à la sécession des États du Sud et devient major général dans l'armée de l'Union, avec laquelle il participe aux batailles de Shiloh et de Chickamauga. Il est élu au Congrès en 1862 en tant que représentant du de l'Ohio.