De 1802-05 Raymond de Verninac fue representante francés en Suiza, después de lo cual se retiró del servicio diplomático. Charles Étienne Raymond Victor de Verninac, el único hijo de la pareja, nació en París el 19 de noviembre de 1803. El padre de Henriette falleció en noviembre de 1805. Su segundo hermano Henri murió en 1807 en la Batalla de Friedland. Cuando su madre, Victoire Oeben, falleció en 1814 se descubrió que la propiedad familiar estaba hipotecada en su totalidad, y su abogado les había estado robando. En lugar de tener un valor de 800,000 francos como se pensaba, la propiedad tenía una deuda de 175,000.