Samuel Finley Breese Morse ble født i Charleston i Massachusetts 27. april 1791. Han var den førstefødte sønnen til presten Jedidiah Morse og kona Elizabeth Breese. Jedidiah Morse var tilhenger av det amerikanske Føderalistpartiet, og trodde sterkt på kalvinismen.