Pors spilte så i Adeccoligaen fra 2004. Den første sesongen reddet laget plassen i siste serierunde, da Bryne ble holdt til 1-1 på Jæren (målskårer Christer Fjellstad). Etter sesongen dro Dag Eilev Fagermo til Notodden, og nye trenere i Pors ble Lars Borgar Waage og Brede Halvorsen. Deres første sesong i 2005 var formidabel, og Pors var faktisk med i kampen om opprykk til Tippeligaen helt til to serierunder før slutt. Sesongen endte tilslutt med en 6.-plass. I 2006 var det tyngre, og sesongen endte med nedrykk, etter at allerede opprykksklare Strømsgodset IF (nå med Dag Eilev Fagermo som trener) på utrolig vis klarte å rote bort en 2-0 ledelse hjemme mot Løv-Ham i siste serierunde. Pors rykket dermed ned på målforskjell.