Rajczy ble olympisk mester i fekting under Sommer-OL 1936 i Berlin. Han var med på det ungarske laget som vant lagkonkurransen i sabel foran Italia og Tyskland. De andre på laget var Endre Kabos, Aladár Gerevich, Pál Kovács, László Rajcsányi og Tibor Berczelly.