I 2003 tok Kjell Inge Olsen over som trener og klubben endte på en noe skuffende femteplass i serien. Man spilt også den siste kampen på ærverdige Stavanger stadion mot Stabæk i siste hjemmekamp denne høsten. På begynnelsen av 2004-sesongen flyttet Viking til ny stadion i Jåttåvågen, Viking stadion. Olsen gav seg som trener etter skuffende resultater på høsten og våren og inn kom først Bjarne Berntsen (midlertidig) og senere den meritterte engelskmannen Roy Hodgson som tok over som trener. Klubben endte på niendeplass i sin første sesong på nytt stadion, og femteplass året etter. Brede Hangeland, Egil Østenstad, Peter Kopteff og Frode Hansen var viktige spillere i denne perioden. På slutten av sesongen sluttet Roy Hodgson som trener for å ta over , og han ble erstattet av Tom Prahl. I den forbindelse uttalte Viking-formann Ole Rugland det etter hvert så kjente sitatet «Målet for Viking må alltid være medaljer. Vi er ikke en klubb som samler på 5.-plasser». 2006-sesongen startet dårlig for laget under Prahls ledelse, og dårlig ble raskt verre. Med syv kamper igjen å spille, lå det engang så fryktede laget nederst på tabellen. Noe måtte gjøres, og den trenerenomaden og blant annet tidligere Start-treneren Tom Nordlie ble ansatt på en 3-måneders kontrakt for å erstatte Tom Prahl og berge Viking fra nedrykk. Med ny trener vant Viking tre av de fire første kampene, og klatret til tiendeplass, men tapte så to kamper på rad og falt til nedrykksplass. Fra nest sisteplass så det ut til at det beste klubben kunne håpe på var kvalifiseringsplass. Seriefinalen ble spesiell, da Viking knuste sølvvinner Brann 5-0 hjemme og passerte både Ham-Kam og Odd Grenland på tabellen og endte på en sikker 11.-plass.