Esta relación duró hasta que su amante estableció relaciones con Violette de Talleyrand-Périgord, duquesa de Sagan, una bella aristócrata, que anteriormente había estado casada con el conde James de Pourtalés y que era nieta del magnate estadounidense del ferrocarril, Jay Gould.