I sin første sesong i divisjonssystemet, 1994, vant FK Haugesund sin 2. divisjonsavdeling. De to neste sesongene spilte laget i 1. divisjon, før klubben debuterte i Tippeligaen i 1997. FK Haugesund berget plassen i 1997, men i 1998 fikk laget sin første sportslige nedtur da de rykket ned til 1. divisjon. Laget rykket rett opp igjen året etter, men det ble med ett år i den øverste divisjonen.