Vinteren 2001 ble han vraket som Fremskrittspartiets førstekandidat i Akershus og havnet i konflikt med Carl I. Hagen. Like etter meldte han seg ut av partiet med begrunnelsen at han ikke lenger følte seg vel i stortingsgruppa. Bakgrunnen skal ha vært striden som oppstod i partiet høsten 2000, der partileder Hagen hadde beskyldt Gundersen og flere andre for illojalitet.