Graeffendorff wurde am 1. Juli 1938 zur Verfügung des Heeres der Wehrmacht gestellt, ohne jedoch eine Verwendung zu erhalten. Anlässlich des sogenannten „Tannenbergtages“ erhielt er am 27. August 1939 den Charakter als Oberstleutnant. Zu Beginn des Zweiten Weltkriegs verblieb er ohne Verwendung. Erst am 1. Juli 1941 wurde er als Oberstleutnant z.V. Kommandeur des Transportbegleitregiments „Breslau“. Später wurde dieses in Transportbegleitregiment „Ukraine“ umbenannt. Am 17. Januar 1943 wurde Graeffendorff von seinem Kommando entbunden und anschließend in die Führerreserve versetzt. Hier erfolgte am 1. Oktober 1943 noch seine Beförderung zum Oberst z.V., bevor seine z.V.-Stellung am 31. Dezember 1943 aufgehoben wurde.