1978 gewann Imre Varga bei den Europameisterschaften in Helsinki zwei Medaillen. Im Schwergewicht erreichte er mit einem Sieg über Sergei Nowikow aus der Sowjetunion das Finale und gewann die Silbermedaille hinter dem Niederländer Peter Adelaar. In der offenen Klasse erkämpfte Varga eine Bronzemedaille. Ein Jahr später bei den Europameisterschaften 1979 in Brüssel unterlag er im Schwergewichts-Halbfinale dem Franzosen Jean-Luc Rougé, erhielt aber eine Bronzemedaille. Anfang Dezember fanden in Paris die Weltmeisterschaften 1979 statt. Varga unterlag im Viertelfinale des Schwergewichts dem Japaner Yasuhiro Yamashita. Im Kampf um eine Bronzemedaille bezwang Varga Alexey Tyurin aus der Sowjetunion. Die beiden standen sich auch im Mai 1980 im Schwergewichts-Finale bei den Europameisterschaften in Wien gegenüber, Tyurin siegte und Varga erhielt die Silbermedaille. Bei den Olympischen Spielen 1980 in Moskau trat Varga im Schwergewicht an. Er bezwang in seinem Auftaktkampf Saed Farhad aus Kuwait durch Ippon. Im Viertelfinale unterlag er dem Nordkoreaner Kim Myong-gyu durch eine Strafwertung (chui).