Su fugaz paso por el conflictivo Ministerio de Hacienda le mereció el burlesco apodo de "Curandero de la Hacienda"; durante los años siguientes Villamil sería postergado al más absoluto ostracismo político, siendo cesado en octubre de 1815 como secretario del Consejo de Estado, aunque asumió la representación en la Corte de la Sociedad Económica de Amigos del País de Oviedo, que le mantuvo como director perpetuo desde 1816 a 1820, a pesar de su implacable destierro a Plasencia al poco de cesar como consejero de Estado, donde permaneció un año, y su habitual retiro a Móstoles en los años subsiguientes.