Efter nazisternes magtovertagelse blev von Arnim forfremmet til generalmajor i 1938. Han havde kommandoen over 52. division under invasionen af Polen og Slaget om Frankrig. I oktober 1940 gik von Arnim kommandoen over 17. panserdivision. Under angrebet på Sovjetunionen i 1941 blev han forfremmet til generalløjtnant under Heinz Guderian, men blev alvorligt såret nogle få dage inde i felttoget. Han blev forfremmet til general af pansertropperne den 1. oktober 1941 og havde kommandoen over 39. panserkorps indtil november 1942 hvor han fik kommandoen over 5. panserarmé under Erwin Rommel i Nordafrika.