Erste internationale Erfahrungen sammelte József Csermák im Jahr 1952 bei den Olympischen Spielen in Helsinki, bei denen er mit im Alter von nur 20 Jahren mit einer Weltrekordweite von 60,34 m im Finale die Goldmedaille gewann und damit seinen Landsmann Imre Németh als Olympiasieger und Weltrekordhalter ablöste. Zudem gelang ihr der erste Wurf über die Distanz von 60 Meter. Sein Weltrekord hatte aber nur wenige Monate Bestand und im September wurde er vom Norweger Sverre Strandli als Rekordhalter abgelöst. Zwei Jahre später nahm er an den Europameisterschaften in Bern teil und gewann dort mit einem Wurf auf 59,72 m die Bronzemedaille hinter Michail Krywanossau aus der Sowjetunion und dem Norweger Strandli. 1956 gelangte er bei den Olympischen Spielen in Melbourne erneut bis in das Finale und erreichte dort mit 60,70 m Rang fünf. Zwei Jahre darauf wurde er bei den Europameisterschaften in Stockholm mit 61,00 m Achter und 1960 schied er bei den Olympischen Spielen in Rom mit einer Weite von 59,72 m in der Qualifikation aus. Er war darüber hinaus zumindest bis 1963 als aktiver Sportler unterwegs.