En 1853 se casó con Olga Smirnova, de la cual tendrá una hija y un hijo, Andrei, que será más tarde su biógrafo; al poco se separa de su mujer.