Con la restauración de la Monarquía absoluta en 1823 el rey Fernando VII le retiró, en el llamado Decreto de Andújar, los honores de Gentilhombre y ordenó su destierro en Lugo.