John Greenleaf Whittier var sønn av John og Abigail (Hussey) i Haverhill. Hans mellomnavn antas å komme fra fransk - etter hans hugenottiske forfedre. Han vokste opp på gården med foreldrene, en bror, to søstre og en farmor og en farfar, og det var en stadig gjennomtrekk av besøkende og leileghetsarbeidere for gårdsdriften. Som guttunge viste det seg at han var fargeblind, og det var en ulempe i landfbruket - han kunne for eksempel ikke skjelne mellom modne og umodne jordbær. Gården gav ikke særlig avkastning. John Whittier passet ikkew så godt til hardt gårdsarbeid, og led av svak helse hele livet. Han fikk lite formell utdannelse.