Kiss vant en olympisk sølvmedalje i svømming under OL 1904 i St. Louis. Han kom på andreplass på 1 engelsk mile fristil bak. På 880 yards fristil kom han på tredjeplass. to år senere, under Ekstralekene 1906 i Athen var han med på det ungarske laget som vant 4 x 250 meter fristil.