Etter «det store EU-valget» sank oppslutningen, og ved stortingsvalgene i 2001 og 2005 lå partiet på rundt 10–mandater; med en liten oppgang ved stortingsvalget i 2005.