Garfield lahir di Hiram, Ohio, sebagai anak ketiga dari tujuh bersaudara dari pasangan James Abram dan Lucretia Rudolph Garfield. Pada setahun sebelum ayahnya menjadi presiden, ia masuk St. Paul's School di Concord, New Hampshire. Pada 2 Juli 1881, di usia 15 tahun, ia menyaksikan penembakan ayahnya oleh Charles J. Guiteau di stasiun kereta api Baltimore dan Potomac di Washington. Presiden dan putranya sedang menunggu kereta api akan berjalan menuju Williams College di Williamstown, Massachusetts, dimana James muda diterima, saat penembakan tersebut terjadi.