Gunstrøm var også en omreisende inspirator og dirigent for klassiske ensembler i Trondheim Kammerorkester, Tromsø Orkesterforening og Bodø. Han startet sitt virke i hjembyen Skiens Orkesterforening. Han var onkel til trommeslager Tor Erik Gunstrøm.