Fredrikstad fortsatte å kjempe i bunnen også under Olsen, og endte til slutt på 11.-plass i 2005. Mot tampen av sesongen ble også Eggen sidestilt med Olsen som hovedtrener, etter en del interne stridigheter i spillegruppen. Blant annet gikk Dagfinn Enerly ut mot Olsens treningsmetoder i boken «Dagfinn Enerly - Så fort kan livet snu».