Sin embargo, su esposa Cosima, mantenía una aventura extramatrimonial con Richard Wagner desde 1866 y en 1868 lo dejó llevándose a dos de sus cuatro hijos —las dos que Richard Wagner adoptó como suyos— y en 1870 se divorció de von Bülow para casarse con el compositor.