En 1811 perdió su puesto al declararse contrario a la invasión napoleónica de España.