Etter valgnederlaget i 2001 gikk hun tilbake til Folketinget som partiets sosialpolitiske ordfører. Jespersen og den nye sosialdemokratiske formannen, Mogens Lykketoft, hadde hatt et anstrengt forhold i lengre tid. Sent i 2004 frasa hun seg mandatet i Folketinget i utilfredshet med Socialdemokraternes politiske linje. I strid med hva partiet stod for, hadde hun gått imot et EU-medlemskap for Tyrkia. I januar 2007 meddelte hun at hun hadde meldt seg ut av Socialdemokraterne i oktober 2006 i protest mot innvandringspolitikken. Samme måned ble Jespersen nominert av Venstre til Folketinget fra Favrskov krets i Østjyllands storkrets. Høsten 2007 ble hun valgt til Folketinget samt utnevnt til sosialminister (senere velferdsminister) og likestillingsminister i Anders Fogh Rasmussens regjering. I april 2009 varslet hun at hun ville fratre som minister, og mente at porteføljen hadde blitt for vidtfavnende.