La infancia de André y su hermano Marie-Joseph transcurrió en Carcasona, en casa de una tía, hasta que marcharon a París para estudiar en el Colegio de Navarra entre 1773 y 1781 (colegio en el que se habían formado personajes tan importantes como Jean Gerson o Bossuet).