Etter lagtingsvalet i 2004 gikk Fólkaflokkurin i koalisjon med det sosialdemokratiske Javnaðarflokkurin og det konservativ-liberale Sambandsflokkurin. I Jóannes Eidesgaards første regjering ble Jógvan við Keldu innenriksminister. Den 1. desember 2005 ble han presset av Fólkaflokkurin til å gå av. Han stilte ikke til gjenvalg til Lagtinget i 2008.