Hans første trenerjobb var i sveitsiske FC Locarno. Han ble senere hovedtrener for den tyske 2. Bundesliga-klubben Rot-Weiß Oberhausen. Etter en god førstesesong, ble han sparket i oktober 2004 på grunn av svake resultater. Andersen ble i 2005 assistenttrener i Bundesliga-klubben Borussia Mönchengladbach da Horst Köppel var trener. De fikk begge sparken i mai 2006 etter at klubben bare ble nummer 10 i sesongen 2005/2006. Fra november 2007 tok han over trenerjobben i Kickers Offenbach i tysk 2. divisjon. Andersen klarte ikke å hindre at Offenbach rykket ned til 3. divisjon. To dager etter at nedrykket var et faktum fikk likevel Andersen tilbud om en ny jobb som trener for klubben 1. FSV Mainz 05. Han tok tilbudet og signerte en to-årskontrakt. Mainz har ambisjoner om å rykke opp til det øverste nivået i tysk fotball. Disse ambisjonene ble realitet 24. mai 2009, da kunne Mainz slippe jubelen løs og ferie opprykk til Bundesligaen. I desember 2010 overtok han treneransvaret for den greske klubben Larissa, som på det tidspunktet lå sist i den greske toppdivisjonen (superligaen). I 2012 var han tilknyttet Karlsruhe i 2. Bundesliga. I 2015 ledet han Austria Salzburg opp i østerriksk 2. divisjon.