Han ble gift med Anne Tucker (1812—23. januar 1873) fra Massachusetts. De fikk tre barn: James (1837), Anna (1841) og Harriet A. (1847).