Garfield merupakan putra dari Presiden James A. Garfield dan Ibu Negara Lucretia Garfield, dan saudara dan mitra hukum dari Menteri Dalam Negeri James Rudolph Garfield. Pada usia 17 tahun, ia dan adiknya yang berusia 15 tahun James menyaksikan kengerian saat ayah mereka ditembak oleh pembunuh Charles Guiteau.