Nagy ble olympisk mester i moderne femkamp under Sommer-OL 1960 i Roma. Han var med på det ungarske laget som vant lagkonkurransen foran Sovjetunionen og USA. De andre på laget var Ferenc Németh og András Balczó. I den individuelle konkurransen kom han på andreplass bak sin landsmann Ferenc Németh.