Nach der Ausbildung in der Kadettenanstalt Dresden trat Gersdorff am 16. Mai 1827 als Sekondeleutnant in das 2. Garde-Regiment zu Fuß der preußischen Armee ein. Er wurde am 14. Mai 1829 zum Garde-Reserve-Infanterie-Regiment versetzt und vom 1. Oktober 1832 bis 1. Juli 1833 zur Allgemeinen Kriegsschule kommandiert. Anschließend war Gersdorff ab 18. März 1835 beim Garde-Schützen-Bataillon. Er ließ sich beurlauben und war 1842/44 war er mit den späteren Generalen Wilhelm Hiller von Gärtringen (1809–1866) und August Graf von Werder (1808–1888) Teilnehmer an den russischen Feldzügen im Kaukasus. Gersdorff machte hier die Gefechte am Urup, bei Oisunger, Serani, an der Assa sowie bei Kalanitsch mit und wurde für seine Leistungen mit dem Orden des Heiligen Wladimir IV. Klasse mit Schwertern ausgezeichnet. Nach seiner Auszeichnung wurde er als Ehrenritter in den Johanniterorden aufgenommen und erhielt am 15. März 1845 das Patent als Premierleutnant.