I 1855 giftet han seg med Mary Everest, datteren til Sir George Everest, som verdens høyeste fjell er oppkalt etter.