Gyarmati war der erfolgreichste Wasserballspieler bei Olympischen Spielen überhaupt. Er wurde mit der ungarischen Wasserball-Nationalmannschaft Olympiasieger bei den Olympischen Spielen 1952, 1956 und 1964. Zusätzlich gewann er 1948 die Silbermedaille und 1960 Bronze. 1954 und 1962 war Gyarmati mit der ungarischen Mannschaft Europameister. Nachdem 1956 der Ungarische Volksaufstand blutig niedergeschlagen worden war, kehrte Gyarmati nach den Olympischen Spielen 1956 zunächst nicht nach Ungarn zurück, überlegte es sich dann aber doch noch. Gyarmati zählte mit seiner Bestzeit von 58,5 Sekunden über 100 m zu den schnellsten Wasserballspielern seiner Zeit. Er bestritt 108 Länderspiele für Ungarn.