El 26 de octubre de 1863 contrajo matrimonio con la pianista neerlandesa Suzanne Leenhoff, con quien mantenía relaciones desde 1850.