1819年的苏珊，生于1821年的伊丽莎白，生于1823年的查尔斯和生于1825年的詹姆斯），于1825年2月7日去世。摩尔斯的第二任妻子是莎拉·伊丽莎白·格里斯沃尔德（"Sarah Elizabeth Griswold"），他们于1848年8月在纽约州尤蒂卡市结婚，婚后产下四子（分别为：生于1849年的萨缪尔，生于1851年的高奈利亚，生于1853年的威廉和生于1857年的爱德华 ）。