Gilje har som musiker spilt kornett i Stavanger Brass Band, Krohnengen Brass Band, Norges Nasjonale Ungdomskorps, H.M. Kongens Gardes Musikkkorps, Norges Ungdoms Brassband og Eikanger-Bjørsvik Musikklag.