Abay-Nemes vant en olympisk bronsemedalje i svømming under OL 1936 i Berlin. Han var med på det ungarske laget som kom på tredjeplass på 4 x 200 meter fri, bak Japan som vant med ny verdensrekord 8.51,5 og USA. De andre svømmerne på det ungarske laget var Ferenc Csik, Ödön Gróf og Árpád Lengyel.