En 1814 va recolzar Lluís XVIII, i fou nomenat par de França com baró de Conegliano en juny de 1814. Es va mantenir neutral durant el retorn de Napoleó, el Govern dels cent dies, sentint-se obligat amb Luis XVIII pels seus compromisos com a par de França, però després de la Batalla de Waterloo va ser castigat per negar-se a presidir el consell de guerra del mariscal Michel Ney, sent empresonat i perdent títol i noblesa.