Longfellow ble født i 1807 som sønn av Stephen og Zilpah (Wadsworth) Longfellow på hjørnet av Hancock og Fore Streets i Portland i Maine og vokste opp i hva som er kjent som Wadsworth-Longfellow-huset. Hans far var en advokat og hans bestefar på morssiden var Peleg Wadsworth Sr., general under den amerikanske revolusjonen. Han nedstammet fra Longfellow-familien som kom til Amerika i 1676 fra Otley i Yorkshire i England og fra Priscilla og John Alden på farssiden.