Han ble født i Frankrike som sønn av de amerikanske kunstnerne Albert Herter og Adele McGinnis. Han innledet sin skolegang i Paris, men flyttet like etter sammen med familien sin til New York. Herter ble uteksaminert fra Harvard University i 1915 og giftet seg med Mary Caroline Pratt, som var datter av rektor Frederic B. Pratt ved Pratt Institute. De fikk tilsammen tre sønner og en datter.