Millet var det første barnet til Jean-Louis-Nicolas og Aimée-Henriette-Adélaïde Henry Millet, og ble født i 1814 i en liten landsby i Normandie. Millet fikk lært seg latin under opplæring av to prester i byen, før han ble sendt til Cherbourg for å få kunnskap om malerkunst. Fra 1835 studerte han for fullt, og fikk to år senere nok penger til å reise til Paris. Millet begynte på École des Beaux-Arts sammen med en rekke andre studenter, blant annet Paul Delaroche som Millet fikk et nært forhold til. Millet prøvde å få sine malerier inn ved Parissalongen, men fikk ikke godkjennelse før 1840.