József Rády focht mit dem Säbel, dem Degen und dem Florett. 1924 gewann er bei den Olympischen Spielen in Paris mit der Säbel-Mannschaft die Silbermedaille. Bei den Olympischen Spielen 1928 in Amsterdam schied er in der Halbfinalrunde im Degen-Einzel aus. Des Weiteren gehörte er in sämtlichen Mannschaftswettbewerben zur ungarischen Equipe: mit der Degen-Mannschaft kam er nicht über die erste Runde hinaus, während er mit der Florett-Mannschaft den fünften Rang belegte. Mit der Säbel-Mannschaft gelang ihm ungeschlagen der Einzug in die Finalrunde, in der diese ebenfalls ohne Niederlage blieb. Gemeinsam mit János Garay, Sándor Gombos, Attila Petschauer, Gyula Glykais und Ödön Tersztyánszky wurde Rády damit Olympiasieger. Zwei Jahre darauf wurde er in Lüttich mit der Säbel-Mannschaft zudem Weltmeister. 1931 folgte der Gewinn der Vizeweltmeisterschaft mit der Florett-Mannschaft. Auf nationaler Ebene wurde er zwölfmal ungarischer Meister, davon dreimal im Einzel.