Practicó la poligamia: se casó con cuatro esposas, pero nuncatuvo más de tres al mismo tiempo: Eliza Jane Evans, Adelaide Cameron Noble, su hermana Angeline Wilcox Noble, y Margaret Harley, que fue 31 años su "junior".