W czasie inwazji na Polskę służył jako oficer wywiadu, przydzielony do sztabu 14, a następnie 12 Armii. W latach 1940–1943 był oficerem wywiadu wojskowego (Abwehry) w sztabie Grupy Armii B, a następnie Grupie Armii Środek. W tym czasie przyjaźnił się z generałem Henningiem von Tresckow i związał się z grupą oficerów planujących zamach na Adolfa Hitlera. W kwietniu 1943 roku żołnierze podlegający pułkownikowi von Gersdorffowi ujawnili ciała polskich oficerów zamordowanych w Katyniu (w rzeczywistości szczątki polskich oficerów zostały odkryte w marcu 1942 przez m.in. Teofila Rubasińskiego, robotnika przymusowego i członka polskiego ruchu oporu, który powiadomił o tym Niemców i AK). W 1944 von Gersdorff został przerzucony na Wał Atlantycki, 26 sierpnia tego roku otrzymał Krzyż Rycerski orderu Żelaznego Krzyża za przygotowanie planu wyjścia sił niemieckich z okrążenia w czasie bitwy pod Falaise. W latach 1944–1945 był szefem sztabu 7 Armii.