В 1832 году он был на короткое время арестован по обвинению в участии в предпринятой герцогиней Беррийской попытке вызвать восстание в Вандее. По освобождении вновь занял своё место в палате пэров, в которой являлся вождем легитимистской оппозиции; арест придал значительную дозу горечи и раздражения его речам.