Al contraer un matrimonio morganático con una divorciada desafiando la prohibición del zar, fue desterrado de Rusia y privado de sus títulos y privilegios. Entre 1902 y 1914, vivió en el exilio en París con su segunda esposa, quien le dio tres hijos. En la primavera de 1914, se estableció en Rusia con su segunda familia.