Se casó tres veces y, según su propia autobiografía, tuvo al menos cinco hijos, de los cuales solo a tres trató como tales: Nastassja, con quien tuvo una relación conflictiva que terminó rompiendo el vínculo padre-hija; Pola, y Nikolai Nanhoï.