Гарфилд родился в Хайрам, штат Огайо, третьим из семи детей Джеймса Абрама и Лукреции Рудольф Гарфилд. За год до начала президентского срока отца учился в Колледже Святого Павла в Конкорде, Нью-Гэмпшир. 2 июля 1881 года, в возрасте 15 лет, он стал свидетелем убийства отца Шарлем Гито на железнодорожном вокзале в Вашингтоне. Президент и его сын ожидали поезда на пути в "Williams College" в Уильямстауне, штат Массачусетс, куда недавно был принят молодой Джеймс, когда убийца произвёл выстрелы.