Det er jazz som ligger Larsen nærmest. Allerede i 1981 var han med bandet som var med å etablere et jazzmiljø i Arendal. Han har spilt i bandet fra oppstarten i 1984 sammen med broren Alf Larsen. Av andre band var som han var med å starte opp i 2007, samt prosjektet Han har i flere år deltatt på musikkfestivalen Canal Street– han komponerte bestillingsverket «Hope» til festivalen i 2002 (gjenoppført i 2016), og i 2005 deltok han sammen med Bugge Wesseltoft i . Han er også fast musiker i Canal Streets husorkester under jamkveldene som avrunder hver festivaldag.