Ello le generaba tales agobios que dio paso a uno de los episodios en su vida que le marcarían el futuro de la misma: en la festividad del Corpus de 1836, sin dar noticia alguna de las causas de su ausencia, desapareció de Madrid y ante ello se le destituyó del cargo por desafecto a la reina, siendo sustituido por Mariano de Ledesma.