31 марта 1822 года он женится на Ханне Уикершем Фостер. Позднее у них рождаются шестеро детей: Нэнси, Маргарет Фостер, Сара Монтгомери, Мэри Хирон, и Сэмюэл Сторроу. Последний станет генералом и примет участие в Испано-американской войне, Ихэтуаньском восстании и Филиппино-американской войне. Одна из дочерей Самнера, Мэри Хирон, в 1860 году вышла замуж за генерала .