Tras la muerte de siete de sus once hijos, después de tener problemas financieros en su empresa de Bruselas, Charles-Joseph se traslada a Paris con su hijo.