Etter dette tilbragte Pors mange år på nivå 3. Ny trener etter nedrykket i 1992 var Ronny Geson Gunnarson, som ble hentet fra Fram Larvik. Han var trener i to sesonger. Utover 90-tallet hadde Pors flere trenere; Terje Bråthen, Hans Kristian Larsen, Jan Magnussen og Knut Nilssen. Resultatene var stort sett OK, med mange plasseringer rundt midten av 2. divisjonstabellen. I 2002 ble imidlertid Dag-Eilev Fagermo ansatt. Sammen med assistenttrener Tor Arne Sannerholt skapte han et godt lag, der blant andre Erik Pedersen var en sentral figur. Dette ble kronet med opprykk i 2003 – et opprykk som ble sikret 2 serierunder før slutt, da Tønsberg ble slått 3-0 på Kjølnes Stadion (målskårere Andre Bjerke Haakonsen, Torkild Lorentzen og Bård Andre Nilsen).