Sparta vant NM i fotball i 1952, men hadde ligget lenge i lavere divisjoner da Andersen overtok. I 1994 berget Sparta med knappest mulig margin plassen i 4. divisjon, på bekostning av Skjeberg og Ørje. Andersen hadde da trent Yven i 5. divisjon noen år, og tok med seg den senere klubblegenden Berat Jusufi til Sparta. Jusufi ble i 2011 den første fotballspiller i Norge som har spilt i de fem øverste divisjonene uten å bytte klubb. Ryktene om Andersens seriøse opplegg og knallharde trening bredte seg. Sakte, men sikkert krøp Sparta oppover tabellen. I 1998 kom opprykket til 3. divisjon. Der etablerte Sparta seg umiddelbart som en toppklubb. Nåløyet opp fra 3. divisjon er imidlertid trangt. Til tross for at Sparta knapt tapte fotballkamper, var det først i 2003 at Sparta rykket opp. De mange årene i 3. divisjon hadde gjort Sparta skjerpet. Debutåret i 2. divisjon endte med 2.-plass, og i andreåret kunne ingen stoppe Sparta. Naboklubben SFK, som var klart best i byen fra 1960 til 2000, ble knust i to folkerike lokalderby. Ingen av de 2000 som var der, vil noensinne glemme den siste og avgjørende kampen mot Fram Larvik. I piskregn, kuling og 2 varmegrader vant Sparta 15-0! Fyrverkeri på torget og ny scoringsrekord i allnorsk fotball. Andersen etablerte også klubben i 1. divisjon i 2006, med 10.-plass i debutsesongen. Året etter fikk laget en fryktelig start med 2 poeng på de første 9 kampene. Laget hevet seg imidlertid mesterlig og var 7. best resten av sesongen. Dermed hentet laget inn Tromsdalens luke på 11 poeng og ble nr 13, noe som ga fornyet kontrakt i 1. divisjon fordi Raufoss ble fratatt lisensen. Sine siste uker som trener brukte Kai på å gå tungt inn for fusjonen mellom de store rivaler gjennom 80 år, SFK og Sparta. Den første treneren for den nye klubben ble Conny Karlsson, som på det tidspunktet hadde ført de seks siste klubbene han hadde trent til opprykk.