En 1845 Millet se trasladó a El Havre con Catherine Lemaire, con la que se casaría en una ceremonia civil en 1853; tendrían nueve hijos, y seguirían juntos durante el resto de la vida de Millet.