Nella stagione 1981-82, Neumann viene ingaggiato dal dove però non riesce a brillare anche a causa di un infortunio; la stagione si conclude con la prima retrocessione nella storia dei rossoblù. Tornato tra le file del Colonia, totalizza 10 sole partite nella stagione 1982-1983. Si trasferisce quindi nuovamente all'estero, prima in Grecia nell'Olympiakos Pireo, quindi in Svizzera nel Chiasso dove nel 1989 chiude la carriera agonistica.