Millet reiste deretter tilbake til Cherbourg for å satse på en karriere innenfor malerkunst. Han giftet seg med Pauline-Virginie Ono, noe som resulterte i at han forble i Paris. Pauline døde etter bare tre år av tuberkulose. Millet giftet seg på nytt med Catherine Lemaire og fikk tilsammen ni barn med henne. Millet og Lemaire var sammen helt til deres død.