French ble født den 20. april 1850 i Exeter i New Hampshire. Han var sønn av Henry Flagg French (1813-1885) og Anne Richardson (1811-1856). Hans far var advokat, dommer, assisterende finansminister og forfatter av en bok som omhandlet drenering av dyrkbart land. I 1867 flyttet French med sin familie til Concord i Massachusetts, der han var nabo og venn av Ralph Waldo Emerson og Alcott-familien. Hans beslutning om å lære seg billedhugging var påvirket av Louisa May Alcotts søster, May Alcott.