József Kovács schied bei den Olympischen Spielen 1952 in Helsinki im Vorlauf über 5000 Meter aus. Bei den Leichtathletik-Europameisterschaften 1954 in Bern gewann Kovács nach einem spannenden Finale in 29:25,8 Minuten knapp vor dem Briten Frank Sando die Silbermedaille über 10.000 m. Sieger war allerdings mit fast einer halben Minute Vorsprung der Tscheche Emil Zátopek. Vier Tage später gab Kovács im Finale über 5000 Meter auf. Es gewann in Weltrekordzeit der für die Sowjetunion antretende Ukrainer Wolodymyr Kuz.