Erste internationale Erfahrungen sammelte Balázs Kiss im Jahr 1991 bei den Junioreneuropameisterschaften in Thessaloniki, bei denen er mit einer Weite von 68,40 m die Bronzemedaille gewann. Zwei Jahre später nahm er erstmals an der Sommer-Universiade in Buffalo teil und gewann dort mit einem Wurf auf 76,88 m die Silbermedaille hinter dem Ukrainer Wadim Kolesnik. 1994 nahm er erstmals an den Europameisterschaften in Helsinki teil und erreichte dort das Finale, in dem er mit 73,08 m den zwölften Platz belegte. Im Jahr darauf wurde er bei den Weltmeisterschaften in Göteborg mit 79,02 m Vierter und siegte anschließend bei den Studentenweltspielen in Fukuoka mit einer Weite von 79,74 m. 1996 qualifizierte er sich für seine einzige Teilnahme an den Olympischen Spielen in Atlanta, bei denen er den Hammer im Finale auf 81,4 m schleuderte und damit die Goldmedaille gewann, womit er nach Imre Németh, József Csermák und Gyula Zsivótzky bereits der vierte ungarische Olympiasieger in dieser Disziplin wurde. Anschließend erreichte er beim IAAF Grand Prix Final in Mailand mit 78,34 m Rang vier.