En septiembre de 1852, se casó con el amor de su juventud, Margaret Crum, hija de Walter Crum, pero la salud de ella se deterioró durante la luna de miel y durante los siguientes 17 años.