Olmest se casó con la viuda de su hermano, Mary Cleveland en 1859 y adoptó a los tres hijos de su hermano.