Martin Harris wurde am 18. Mai 1783 als Sohn von Nathan Harris und Rhoda Lapham in Eastown im damaligen Albany County geboren. Mit seinen Eltern zog er nach Swift’s Landing im Ontario County, das später Palmyra hieß. Er heiratete 1808 seine Cousine Lucy Harris und diente im Krieg von 1812 in der Miliz des Staates New York. Er wurde der Besitzer von 320 Acres (130 Hektar) Land in Palmyra.