Georges Fesch, su padre, era un rico banquero de origen belga, culto, amante de las artes y que se confesaba ateo, distante de su hijo e infiel a su esposa Marthe, mujer de sensibilidad pero a la que le resultaba difícil manifiestarla, la fuerte personalidad de su esposo se imponía en exceso a la suya propia y acabarían divorciándose.