Al poco tiempo decide reintegrarse a su antiguo partido AD, donde permanecería hasta que el partido decidió apoyar la abstención en 2004, provocando la salida de Fermín, quien aboga por una posición de participación, que es la que han asumido los partidos opositores en la actualidad.