Neumann ledet flere besetninger ved Kongsberg Jazzfestival, blant annet med Dizzy Gillespie. Han ble sentral på Club 7, og ble dedikert Ditlef Eckhoffs som ble plateutgitt i 1999. Med Christian Reim kvartett utkom i 1976. Neumann spilte i Espen Ruds besetninger, som Kråbøl, og har turnert med folkemusikerne Nils Økland og Bjørnar Andresen i 1985.