Su padre, Joseph Fourier, que era un humilde sastre, contrajo matrimonio con Edmée Germaine Lebègue, tras enviudar de su esposa anterior quien le había dado tres hijos.