Tras la muerte en 1857 de Hélène Quantinet, que había sido durante muchos años su alumna y compañera, contrajo matrimonio con Stéphanie-Augustine Moreau, con quien tendría dos hijos, y comenzó a pasar las vacaciones en Cayeux-sur-Mere junto a Jean-François Millet.