Etter niendeplass i debutsesongen som hovedtrener rykket Örgryte ned fra Allsvenskan året etter. Klubben var imidlertid på retur, og etter at Karlsson ga seg i 1990 fortsatte klubben videre ned til tredje nivå. Karlsson gikk videre til jobb som hovedtrener i Landskrona, som etter en rekke år som bunnlag i 1. divisjon plutselig ble et topplag i Karlssons andre sesong der, og rykket opp året etter. Karlsson fikk imidlertid ikke fornyet kontrakten, og reiste derfor til Norge for å ta over nystiftede FK Haugesund i norsk 2. divisjon. Her ledet han klubben til to opprykk i 1994 og 1996, og klubbens første sesong i Tippeligaen med 9.-plass 1997. Etter nedrykk året etter flyttet Karlsson østover, og trente Hamarkameratene opp fra 2. divisjon til 1. divisjon i 1999. Der hadde klubben bare sluppet inn 10 mål på 10 kamper når Karlsson trakk seg våren 2000 grunnet hjerteinfarkt. På de to første kampene uten Conny ved roret slapp laget inn ti mål til. Episoden er betegnende for Karlssons filosofi: Ekstremt få innslupne mål, men spillere som synes spillesystemet er defensivt og kjedelig.