Jozef Gönci nahm an fünf Olympischen Spielen teil. Bei den Olympischen Spielen 1996 in Atlanta belegte er mit dem Luftgewehr den 28. Platz. Mit dem Kleinkalibergewehr zog er sowohl im liegenden Anschlag als auch im Dreistellungskampf ins Finale ein, das er in letzterem auf Rang fünf beendete. Im liegenden Anschlag gewann er mit 701,9 Punkten hinter Christian Klees und Sergei Beljajew die Bronzemedaille. Vier Jahre darauf wurde er in Sydney mit dem Luftgewehr Elfter sowie mit dem Kleinkaliber im Dreistellungskampf Achter. In Athen qualifizierte er sich 2004 mit dem Luftgewehr erstmals für das Finale. Mit 697,4 Punkten gewann er hinter Zhu Qinan und Li Jie eine weitere Bronzemedaille. In den Kleinkaliber-Disziplinen verpasste er als Vierter im liegenden Anschlag einen weiteren Medaillengewinn, im Dreistellungskampf verpasste er als Neuntplatzierter den Finaleinzug. 2008 in Peking kam Gönci mit dem Kleinkaliber nicht über den 37. Platz im Dreistellungskampf und den 16. Platz im liegenden Anschlag hinaus. Auch bei seiner letzten Olympiateilnahme 2012 in London, bei denen er als Fahnenträger der slowakischen Delegation bei der Eröffnungsfeier fungierte, belegte er in den Qualifikationen hintere Ränge. Mit dem Luftgewehr und dem Kleinkaliber im Dreistellungskampf erreichte er nur den 31. Platz, im liegenden Anschlag reichte es sogar nur für Rang 39.