I 2004 gjorde deler av partiet et nytt forsøk på å skifte ut Sponheim. Olaf Henning Thommessen var et relativt nytt sentralstyremedlem av Venstre og uten særlig politisk erfaring. Han lanserte seg som lederkandidat, men uten å få støtte i valgkomiteen. Sponheim ble dermed gjenvalgt som leder frem til 2006, mens Thommessen fortsatte som andre nestleder. Etter valgsuksessen i 2005 med 5,9 % oppslutning og ti stortingsrepresentanter, ble Sponheims stilling i partiet styrket. Sponheim ble gjenvalgt på landsmøtet i Oslo i 2006 for to nye år, denne gang uten motkandidat eller blanke stemmer.