Auch während des Westfeldzuges im Frühjahr 1940 befehligte er sein Regiment. Als sich jedoch im Frühjahr 1941 abzeichnete, dass das Panzer-Regiment 8 als Teil des neu zu bildenden Afrikakorps nach Libyen verlegt werden sollte, bat Elster unter Verweis auf ein durch seine Verwundung im Ersten Weltkrieg hervorgerufenes Zahnleiden um seine Ablösung und ließ sich für "tropendienstuntauglich" erklären. Er erhielt nun das Kommando über die aus französischen Beutepanzern gebildete Panzer-Brigade 101, später über die Panzer-Brigade 100. Im März 1943 zum Generalmajor befördert, wechselte er in eine Stabsverwendung und diente für ein knappes Jahr als Feldkommandant in Marseille, wo er im Herbst an der Entwaffnung der abgefallenen italienischen Truppen (Fall Achse) beteiligt war. Von hier aus wurde Elster im April 1944 ebenfalls als Feldkommandant nach Mont-de-Marsan in Aquitanien, unweit der spanischen Grenze in den Pyrenäen, versetzt.