Nielsen var en av tre danske deltagere i de første olympiske lekene i Athen i 1896. Nielsen kom på tredjeplass i fekting med sabel. Han deltok også i flere øvelser i skyting, han kom på andreplass i fripistol, på tredjeplass i hurtigpistol og en femteplass i militærpistol. Han deltok også i friidrett i diskos.