Charles Fourier var sønn av Marie og Charles Fourier, en velstående kledehandler. Faren døde da Charles var ti år gammel. Charles Fourier fikk sin utdannelse ved det lokale jesuittkollegiet, og tjenestegjorde deretter i den franske armé.