Finalmente, las disensiones de Ofalia con el propio Ugarte le llevaron a ser despojado del cargo, con sospechas de sus tendencias liberales (11 de julio de 1824), siendo desterrado por segunda vez a Almería.