Ab 1974 kämpfte Varga im Schwergewicht oder in der offenen Klasse. Bei den Europameisterschaften 1974 gewann er eine Bronzemedaille in der offenen Klasse. Bei den Weltmeisterschaften 1975 in Wien schied Varga im Schwergewicht in der ersten Runde gegen den Japaner Chōnosuke Takagi aus. Zwei Tage später in der offenen Klasse bezwang er im Viertelfinale Wolfgang Zuckschwerdt aus der DDR. Nach seiner Halbfinalniederlage gegen den Japaner Haruki Uemura verlor Varga auch den Kampf um eine Bronzemedaille gegen Schota Tschotschischwili aus der Sowjetunion. Bei den Olympischen Spielen 1976 in Montreal trat Varga in der offenen Klasse an. In seinem ersten Kampf bezwang er Dietmar Lorenz durch Schiedsrichterentscheid. In der zweiten Runde schied er durch eine kleine Wertung (yuko) gegen den Südkoreaner Cho Jea-ki aus.