Larsen er sønn av folkemusikeren Geir Egil Larsen, og var yngste vinner i A-klassen på Landskappleiken (2002), der han og broren Einar Olav Larsen vant en rekke gruppespill-priser. Søskenduoen utga (ta-lik, 2004) med flere komposisjoner av Hilmar Alexandersen, og mottok Osaprisen i 2004 og Folkelarmprisen 2005 som årets nykommer. Selv mottok han Øivind Berghs minnepris i 2004. Til Vossajazz medvirker han på Berit Opheims bestillingsverk (2007), også fremført med Rikskonsertene. Selv debuterte han med verket til Telemarkfestivalen (2006). I 2006 startet han Gjermund Larsen trio med Andreas Utnem på piano/trøorgel og Sondre Meisfjord på kontrabass. Trioen ga i 2008 ut albumet som vant Spellemannprisen 2008 i klassen folkemusikk/gammaldans. I 2010 ga trioen ut platen . År 2013 kom albumet , og 2016 albumet med den svenske gruppen Nordic som gjester. For vant han TONOs komponistpris under Spellemannprisen 2016. Trioen var i tillegg nominert i klassen folkemusikk/tradisjonsmusikk for samme album.