Von 1851 bis 1854 besuchte Garfield das "Western Reserve Eclectic Institute" in Hiram, Ohio. Seinen Abschluss machte er 1856 am Williams College in Williamstown, Massachusetts. Vor seiner Politikerkarriere war er Mathematiklehrer und Prediger; in diesen Berufen konnte er sein damals viel beachtetes Rednertalent ausbilden. Außerdem lieferte er im Jahr 1876 einen von mehreren Beweisen zum Satz des Pythagoras. Die akademische Laufbahn befriedigte ihn aber nicht, weshalb er noch Jura studierte. Gleichzeitig ging er in die Politik: 1859 wurde er in den Senat von Ohio gewählt. Er diente im Bürgerkrieg auf der Seite der Nordstaaten und beendete den Krieg als Generalmajor. Er nahm u. a. 1862 an der Schlacht von Shiloh und der Ersten Schlacht um Corinth teil. Im September 1863 kämpfte er in der verlustreichen Schlacht von Chickamauga.