Larsen markerte seg først med å lede Ullern, som han tidligere hadde spilt for, opp i 1. divisjon før han ble hentet som hjelpetrener til Stabæk. Etter at Anders Linderoth trakk seg i 2001, overtok han hovedansvaret. Han ble imidlertid sparket høsten 2004, og uttalte på pressekonferansen at "jeg er skuffet, og jeg aksepterer det ikke, men jeg skjønner tankegangen". Før sesongen 2005 ble han hentet som hjelpetrener til Odd Grenland. Sesongen 2007 hadde han sammen med Arne Sandstø et delt hovedtreneransvar for klubben.