Amb l'ascens de l'Alemanya Nazi, Arnim va ser promogut a Major General el 1938. Comandà la 52a divisió a les campanyes de Campanya de Polònia i de Campanya de França. A l'octubre de 1940, Arnim va rebre el comandament de la 17a Divisió Panzer. Amb l'esclat de la guerra contra la Unió Soviètica va ser promogut a Tinent General a les ordres de Heinz Guderian, però va resultar greument ferit uns dies després de l'inici de la campanya. Comandà el XXXIX Cos Panzer fins a novembre de 1942, quan va ser posat al capdavant del 5è Exèrcit Panzer sota d'Erwin Rommel al Nord d'Àfrica. Quan Hitler va denegar l'autorització a Rommel perquè tornés a Tunísia, Arnim va ser promogut a General ("Generaloberst") el 4 de desembre de 1942, i nomenat Comandant en Cap del Grup d'Exèrcits Àfrica i, "de facto", comandant de l'Afrika Korps entre març de 1943 fins a la seva captura per la 4a Divisió d'Infanteria Índia dos mesos després, al maig de 1943. Durant la resta de la guerra va ser un presoner de guerra britànic i va ser alliberat al juliol de 1947.