Zahlreiche Erfolge gelangen Gyulay auch bei Weltmeisterschaften. 1986 sicherte er sich in Montreal im Einer-Kajak auf der 500-Meter-Distanz die Silbermedaille, während er mit dem Vierer-Kajak auf der 1000-Meter-Strecke Weltmeister wurde. Diesen Titel verteidigte er zunächst 1987 in Duisburg sowie, nachdem 1988 wegen der Olympischen Spiele keine Weltmeisterschaft stattfand, auch 1989 in Plowdiw, 1990 in Posen und 1991 in Paris. In Plowdiw wurde er außerdem auch im Einer-Kajak über 1000 Meter Weltmeister. Bei den Weltmeisterschaften in Paris belegte er auf der 500-Meter-Strecke sowohl im Einer- als auch im Zweier-Kajak den dritten Platz. 1993 gewann er in Kopenhagen mit dem Vierer-Kajak über die 500-Meter-Distanz die Bronze- und über die 1000-Meter-Distanz die Silbermedaille. Drei weitere Medaillen sicherte sich Gyulay bei den Weltmeisterschaften 1995 in Duisburg. Auf der 200-Meter-Sprintstrecke belegte er im Zweier-Kajak den dritten Platz und wurde über 500 Meter im Zweier-Kajak sowie über 1000 Meter im Vierer-Kajak jeweils Vizeweltmeister. Auf nationaler Ebene gewann Gyulay in verschiedenen Bootsklassen und Renndistanzen insgesamt 31 ungarische Meisterschaften.