Han var solocellist i Trondheim Symfoniorkester (1991–97), var med i Det Norske Kammerorkester (1988–2001) og har gjestet som solocellist i Kringkastingsorkestret og Stavanger Symfoniorkester. Gimse var kunstnerisk leder for TrondheimSolistene fra 2002 til 2017, og de har sammen turnert store deler av Europa, i tillegg til USA, Sør-Amerika og Asia. Samarbeidet mellom TrondheimSolistene/Gimse og plateselskapet 2L har resultert i til sammen 7 GRAMMYnominasjoner til ensemblets fem innspillinger. Med broren Håvard Gimse piano, ga han ut (Niente/Sonor Records, 2001). Han har samarbeidet med Anne-Sophie Mutter (, Deutsche Grammophon, 1999), og vært med i samtidsmusikkgruppen ter Jung Sekstett (, Hemera Music, 2000).