Ivády ble olympisk mester i vannpolo under OL 1932 i Los Angeles. Han var med på det ungarske laget som vant vannpoloturneringen. Det var fem nasjoner som stilte lag, men det brasilianske laget ble diskvalifisert. Ungarn vant alle sine tre kamper, 6-2 over Tyskland, 7-0 over USA og hele 17-0 mot Japan. De andre spillerne på det ungarske laget var György Bródy, Márton Homonnay, Olivér Halassy, József Vértesy, János Németh, István Barta, Alajos Keserű, Miklós Sárkány, Ferenc Keserű. Ivády spilte alle tre kampene.