Según los registros públicos de los SUD, tuvo sólo dos esposas, y de su matrimonio con Elizabeth Barker, la única adicional con quien tuvo hijos (un varón, William H Bernhisel, nació en 1849 en Utah, y pueden haber habido tantos como otros cinco niños con Elizabeth Barker).