Torman kultakausi oli ohi Lontoon olympialaisten ja Oslon EM-kisojen jälkeen. Ura kuitenkin jatkui. Tšekkoslovakian nyrkkeilijät ei osallistuneet vuoden 1951 EM-kisoihin, joten seuraava kansainvälinen esiintyminen Tormallakin tapahtui Helsingin olympialaisissa 1952, jossa hän puolusti välisarjan eli alle 66,7 kg:n kultamitaliaan. Torma eteni aina puolivälieriin voitetuaan Iso-Britannian John Patrickin ja Yhdysvaltain Louis Gagen. Puoilivälierässä tuleva kultamitalisti Puolan Zygmunt Chychła voitti hänet ja näin Torman tie mitaliotteluihin oli pystyssä. Seuraava kansainvälinen esiintyminen Tormalla oli vuoden 1955 EM-kisoissa Länsi-Berliinissä. Tällöin oli raskaan keskisarjan edustajana. Alun kaksi voittoa Irlannin Paddy Lyonsistä ja Ruotsin Lennart Risbergistä veivät hänet mitaleille. Välierässä vcastassa ollut Länsi-Saksan Erich Schöppner pudotti hänet loppuottelusta, joten tuloksena oli pronssimitali. Torman uran päätös tapahtui hänen kolmansissa olympialaisissaan Melbournessa, jossa hän edusti maataan keskisarjassa. Pistevoitto ensimmäisessä ottelussa kisaisäntien Howard Richteristä vei hänet otteluun Chilen Ramón Tapiaa vastaan, joka tyrmäsi Torman toisessa erässä.