Neumann deltok under de første moderne olympiske lekene i Athen i 1896. Den 11. april vant han Østerrikes første olympiske tittel, da han vant 500 meter fri med tiden 8.12,6. Favoritten Alfréd Hajós trakk seg fra distansen etter han først hadde vunnet 100 meter fri tidligere på dagen og skulle forberede seg for 1200 meter fri senere på dagen, som han forøvrig vant. Neumann startet også på distansen 1200 meter fri, men kom aldri til mål.