Era el primer hijo del geógrafo y pastor Jedidiah Morse (1761-1826) y de Elizabeth Ann Finley Breese (1766-1828).