Deretter fulgte en serie med uheldige omstendigheter. Kona, som aldri hadde vært særlig nervesterk, ble håpløst sinnssyk. Hans far, som var godt oppe i årene, trådte stadig til med økonomiske forsterkninger, siden andre støtter var fåtallige. Mens han var midlertidig bortreist med kona, bodde en ung mann i huset — og tok livet av seg. Han var på studietur til Mont Blanc i 1863 og fikk lungebetennelse, noe som kunne være dødelig på den tid. Vel hjemme ble han søvnløs og gradvis svekket fysisk. Til verdensutstillingen i 1867 skulle han være leder av kunstjuryen, og kunne dermed ikke nominere seg selv til noen pris. Dette dilemmaet syntes å svekke ham ytterligere. Han fikk lammelser som gikk nesten over før de forverret seg til han gled over i koma og døde 22. desember 1867. Vennen Millet var hos ham til det siste.