Ved stortingsvalget 2005 gikk imidlertid partiet kraftig tilbake i Nordland og oppnådde kun 4155 stemmer, eller 3,1 prosent. Partiet mistet følgelig mandatet sitt. Selv om tilbakegangen var mindre i Troms, 7218 stemmer, eller 8,6 prosent, manglet partiet 555 stemmer for å få mandat fra fylket. I Finnmark var resultatet 4,3 prosent av stemmene.