Neumann vant en olympisk bronsemedalje under OL 1928 i Amsterdam. Han kom på tredjeplass i den individuelle konkurransen i feltritt med hesten «Ilja», bak de nederlandske rytterne Charles Pahud de Mortanges og Gerard de Kruijff.