Nacque in una nobile famiglia ungherese, il 12 settembre 1766. Ricevette un'accurata preparazione militare come cadetto presso l'Accademia Militare Teresiana di Wiener Neustadt. Dal 1º maggio 1784, venne nominato tenente del I reggimento degli Ussari. Suo padre, Sámuel Gyulay, dal 1773, era ufficiale generale e proprietario del XXXII reggimento di fanteria, rimanendo in carica sino al 1802, anno del suo decesso. Sua madre era Anna Bornemisza de Kászon. Nell'ottobre del 1787 venne trasferito brevemente al XIX reggimento di fanteria, "Alvinczi", prima di entrare, nel dicembre 1787, nel XLIV reggimento degli Ussari "Szekler". Nel 1788, con lo scoppio della Guerra austro-turca, presero avvio i primi combattimenti, proprio nella sua natia terra di Transilvania. Il 26 agosto 1788 si distinse in una schermaglia al passo di Törzburg a capo di uno squadrone di ussari. Nel febbraio 1789, Gyulay venne trasferito quindi nel reggimento di suo padre, con il grado di capitano dei granatieri, per cui prese parte, nell'autunno 1789, ai combattimenti che condussero all'Assedio di Belgrado. Durante l'ultimo e vittorioso assalto alle difese di Belgrado, guidò la sua compagnia nelle file del comando di Franz von Werneck, città che capitolò l'8 ottobre 1789. Il 21 dicembre 1789, venne ricompensato con la croce di cavaliere dell'Ordine Militare di Maria Teresa.