Nielsen ble olympisk mester i sykkel under OL 1928 i Amsterdam. Han var med på det danske laget som lagkonkurransen landeveisritt over 168 kilometer. De andre på laget var Orla Jørgensen og Henry Hansen. Fire år senere, under OL 1932 i Los Angeles var med på det danske laget, Nielsen, Frode Sörensen og Henry Hansen, som kom på andreplass i landeveisrittet over 100 kilometer bak Italia.