Se conocieron en persona en diciembre de 1867 e iniciaron un noviazgo a lo largo de 1868, mantenido sobre todo por carta; aunque Olivia rechazó su primera propuesta de matrimonio, al año siguiente se prometieron y en febrero de 1870 contrajeron matrimonio en Elmira (Nueva York).