Wolffersdorff stand zunächst seit 1733 in kursächsischen Diensten, stieg bis zum Oberstleutnant auf und nahm am Siebenjährigen Krieg teil. Nach der Kapitulation der Sachsen bei Pirna wurde er am 24. November 1756 als Oberst bei dem bisherigen sächsischen Regiment „von Hauß“ Nr. 6 in die Preußische Armee übernommen. Im weiteren Kriegsverlauf zeichnete er sich im August 1759 bei der Verteidigung von Torgau besonders aus und wurde in der Schlacht bei Kunersdorf verwundet.