Nach dem Übergang der Reichswehr in das Heer der Wehrmacht avancierte Erdmannsdorff Anfang August 1935 zum Oberstleutnant und war in der Folge Kommandeur des I. Bataillons im Infanterie-Regiment 49 und 51. Mitte Oktober 1937 kam er zum Stab des Infanterie-Regiments 30, stieg Anfang Februar 1938 zum Oberst auf und wurde am 10. November 1938 zum Regimentskommandeur ernannt. Mit dem Regiment nahm Erdmannsdorff mit dem Beginn des Zweiten Weltkriegs am Überfall auf Polen teil und blieb bis Mitte Dezember 1941 in dieser Position. Anschließend beauftragte man ihn mit der Führung der 18. Infanterie-Division (mot.) und ernannte ihn am 1. März 1942 mit der Beförderung zum Generalmajor zum Kommandeur dieses Großverbandes. Die Division nahm an den Kesselschlachten bei Białystok und Minsk sowie Smolensk und dem Vormarsch auf Leningrad teil. Nach der Winteroffensive 1941/42 musste die Division zur Auffrischung aus der Front zurückgezogen werden. Nachdem Erdmannsdorff für sein Wirken am 16. November 1941 das Deutsche Kreuz in Gold erhalten hatte, wurde er am 27. Februar 1942 mit dem Ritterkreuz des Eisernen Kreuzes ausgezeichnet. In der Begründung wird neben der „Verteidigung von Tichwin“ und die „Rückführung der Division hinter den Wolchow“ das Halten der Stadt Staraja-Russa genannt.