Hagen hadde etter valget i 2003 begynte å vurdere sin politiske fremtid. Han bestemte seg snart for å gå av som parlamentarisk leder og partiformann i to omganger og offentliggjorde beslutningen i den 4. oktober 2003.