Gerevich ble olympisk mester i fekting første gang under Sommer-OL 1932 i Los Angeles. Han var med på det ungarske laget som vant lagkonkurransen i sabel. De andre på laget var Endre Kabos, György Piller, Gyula Glykais, Attila Petschauer og Ernö Nagy. Gerevich vant ytterligere fem gullmedaljer i lagkonkurransen i sabel i de fem påfølgende olympiske leker. Han vant også den individuelle konkurransen i sabel under Sommer-OL 1948 i London.