I 1874 ble han gift med Emma Gifford, som han hadde møtt i 1868. Dette bidrog imidlertid ikke meget til å lette det tungsinn som fulgte ham livet igjennom — mange av romanene er særdeles kritiske overfor ekteskapet; men etter Emmas død i 1912 inngikk han ikke desto mindre i 1914 nytt ekteskap med Florence Dugdale.