Fra 1866 hadde han et fast forhold med Jekaterina Mikhailovna Dolgorukov, som i 1875 fikk et bosted i vinterpalasset og som han giftet seg med like etter Marias død i 1880.