A pesar de la progenie y del título nobiliario, el Conde de Ségur era pobre (hasta que fue nombrado Par de Francia en 1830) y mantuvo una relación distante con la Condesa.