Albán Vermes lernte im Alter von sechs Jahren das Schwimmen und trat mit zehn Jahren einem Schwimmverein in seiner Heimatstadt Eger bei. Mit 16 Jahren gewann er die Jugendmeisterschaft über 200 m Brust. 1975 folgte der erste Meistertitel bei den Senioren über 100 Meter. 1976 scheiterte er an der nationalen Norm für die Olympischen Spiele in Montreal. Später wechselte er zum Újpesti TE, wo er von József Gulrich trainiert wurde. Vermes belegte bei den Weltmeisterschaften 1978 einen sechsten Platz und nahm an den Olympischen Spielen 1980 in Moskau teil, wo er im Wettkampf über 200 m Brust die Silbermedaille gewann. Nachdem er 1981 bei der Europameisterschaft das Podium mit Rang vier knapp verpasst hatte, sicherte er sich 1983 Silber über 200 m Brust. Da Ungarn die Olympischen Spiele 1984 boykottierte, nahm das Land an den Wettkämpfen der Freundschaft teil, wo Vermes Dritter wurde. Ein Jahr später beendete er schließlich seine aktive Laufbahn. Während seiner Karriere gewann er 13 Einzel- und 3 Staffel-Meistertitel bei den Ungarischen Meisterschaften.