Sechzehnjährig trat Edelsheim-Gyulai in die österreichische Armee ein und brachte es in 9 Jahren vom Kadetten zum Oberst. Leopold von Edelsheim kämpfte in den Jahren 1848 und 1849 in Italien und Ungarn, 1859 erneut in Italien gegen die Franzosen und 1866 in Böhmen gegen Preußen. Als Oberst und Kommandant des Husaren-Regiments Nr. 10 wurde er am 17. Oktober 1859 Ritter des Militär-Maria-Theresia-Ordens. Die Attacken seiner Dragoner-Regimenter während der Schlacht bei Gitschin am 29. Juni zerschellten an den Echelons der preußischen Infanterie und brachten unverantwortliche Verluste. Am 25. September 1866 wurde er zum Feldmarschalllieutenant befördert und erhielt zwei Monate später das Kommando über die 1. Kavalleriedivision. Am 5. Dezember 1867 Inhaber des Husaren-Regimentes Nr. 4, am 28. Januar 1869 General-Kavallerieinspektor und erhielt am 19. April 1873 die Würde eines Geheimen Rats. Am 28. Januar 1874 erfolgte seine Ernennung zum General der Kavallerie gleichzeitig mit der eines kommandierenden Generals in Ofen-Pest. Von 1875 bis 1886 war Edelsheim Höchstkommandierender in Ungarn. Nachdem er am 29. September 1875 durch die Verleihung des Ordens der Eisernen Krone 1. Klasse ausgezeichnet worden war, wurde er am 1. Januar 1883 infolge der neuen Organisation Kommandant des IV. Armeecorps und kommandierender General in Budapest, in welcher Verwendung er noch bis zum 1. August 1886 aktiv diente. An diesem Tag trat er, infolge eines Konfliktes wegen Bekränzung der Gräber der Bezwinger Ofens im Jahre 1849, in den Ruhestand und lebte bis zu seinem Tod am 27. März 1893 in der ungarischen Hauptstadt.