Im März 1935 erfolgte als Oberst seine Übernahme in die Wehrmacht. Von Oktober 1937 bis September 1939 war er Kommandeur des Infanterieregiments 24 in Braunsberg. Im Anschluss war er im Zweiten Weltkrieg zunächst als Generalmajor (Beförderung im Juni 1939) von Anfang November 1939 bis 10. Januar 1943 Kommandeur der 21. Infanterie-Division und wurde im April 1942 kurz durch Generalleutnant Wilhelm Bohnstedt ersetzt. Im Juli 1941 wurde er zum Generalleutnant befördert. Mit der Division stand er in der Eifel und nahm am Westfeldzug teil. Im September 1940 verlegte sein Großverband zum I. Armeekorps nach Ostpreußen. Er nahm u. a. an der Schlacht an der Luga und der Wolchowschlacht teil und wurde kurz vor der Zweiten Ladoga-Schlacht abgelöst. Für sein Wirken hatte Sponheimer am 8. August 1941 das Ritterkreuz des Eisernen Kreuzes sowie am 29. November 1942 das Deutsche Kreuz in Gold erhalten.