Im Mai 1942 wurde Gyldenfeldt Erster Generalstabsoffizier des vorläufigen Stabes der späteren Heeresgruppe A unter Wilhelm List, die die Aufgabe hatte, im Rahmen der deutschen Sommeroffensive in den Kaukasus vorzustoßen. In dieser Position verblieb er bis zum Juli des folgenden Jahres. Anschließend wurde er zum Generalmajor befördert, zum Deutschen General beim italienischen Armeeoberkommando 11 auf dem Balkan ernannt und war als solcher in den Fall Achse eingebunden. Von Herbst 1943 bis Mai 1944 war Gyldenfeldt dann Generalstabschef der 4. Armee an der Ostfront, bevor er als Chef des Generalstabs zur neugebildeten Armeegruppe G in Südfrankreich ernannt wurde. Im September 1944 erneut in die Führerreserve versetzt, kam er im Oktober als Generalstabschef der Heeresgruppe F/Oberbefehlshaber Südost erneut auf den Balkan. Seine letzte Stellung war ab Ende März 1945 die des Generalstabschefs der Heeresgruppe Süd, die er bis Kriegsende innehatte. Aus der Internierung wurde er im Dezember 1947 entlassen.