Wolffersdorff besuchte die Realschule in Berlin und erhielt Privatunterricht. Am 11. Mai 1841 trat er in das 7. Ulanen-Regiment der Preußischen Armee ein. Dort avancierte Wolffersdorff bis 23. April 1844 zum Sekondeleutnant. Als solcher nahm er 1849 mit seinem Regiment während der Niederschlagung des Pfälzischen Aufstandes und der Badischen Revolution an den Gefechten bei Kirchheimbolanden, Durlach und Kuppenheim teil. Ab Oktober 1851 war Wolffersdorff für zwei Jahre zur Militärreitschule in &lt;a href="Schwedt/Oder"&gt;Schwedt/Oder&lt;/a&gt; kommandiert. Im Anschluss daran fungierte er als Regimentsadjutant und stieg bis 31. Mai 1859 zum Rittmeister auf. Aus Anlass des Sardischen Krieges wurde er im gleichen Jahr bei der Mobilmachung als Führer der 1. Eskadron zum 7. Landwehr-Ulanen-Regiment kommandiert. Daran schloss sich vom 9. November 1859 bis zum 4. April 1860 eine Kommandierung als Abteilungsführer des Train-Bataillons des VIII. Armee-Korps an. Anschließend wurde Wolffersdorff Adjutant der 15. Division, um am 23. Februar 1861 mit der Ernennung zum Eskadronchef in das Rheinische Ulanen-Regiment Nr. 7 zurückzukehren. Seine 4. Eskadron führte er 1866 während des Krieges gegen Österreich in den Schlachten bei Münchengrätz und Königgrätz.