Herczeg vant en olympisk sølvmedalje i turn under OL 1912 i Stockholm. Han var med på det ungarske laget som kom på andreplass i lagkonkurransen i mangekamp bak Italia. Det var fem lag fra fem nasjoner som var med i konkurransen som ble avholdt på Stockholms stadion. Det var mellom 16 og 40 deltakere på hvert lag.