Millet fue el primogénito de Jean-Louis-Nicolas y Aimée-Henriette-Adélaïde Henry Millet, miembros de la comunidad campesina en la aldea de Gruchy, municipio de Gréville-Hague, Normandía.