Nathaniel Hawthorne werd op 4 juli 1804 als de middelste van drie kinderen geboren in Salem in Massachusetts. Zijn vader was een kapitein op de grote vaart. De vroegste "Amerikaanse" voorouder van Hawthorne was William Hathorne. Deze vestigde zich tussen 1630 en 1633 in de jonge Massachusetts Bay Colony. Nog in Engeland had hij zich van de officiële kerk afgewend en zich bekeerd tot het bevindelijke Calvinistische puritanisme. Hij ontwikkelde zich tot een fanatiek beoordelaar van de theologische opvattingen en levenswandel van zijn medekolonisten. Met name richtte hij zich op de onderdrukking en bestraffing van Quakers. Een van zijn zonen, John Hathorne, volgde in zijn vaders voetsporen, maar dan gericht op "heksen." Hij verhoorde verdachten ten behoeve van de Heksenprocessen van Salem. Generaties later voelde Nathaniel Hawthorne - de letter "w" moest de afstamming verdoezelen - nog een diepe familieschuld over deze fanatiek-Puriteinse voorvaderen. Hij komt daar voor uit in "The Custom House," de lange inleiding tot het eigenlijke verhaal van "The Scarlet Letter."