พลโทอาร์นิมนำกองพลยานเกราะที่ 17 เข้าร่วมในปฏิบัติการบาร์บาร็อสซาเพื่อรุกรานสหภาพโซเวียต ต่อมาในวันที่ 1 ตุลาคม ค.ศ. 1941 พลเอกอาร์นิมได้เป็นผู้บัญชาการกองพลน้อยยานเกราะที่ 39 () และได้รับยศพลเอกอาวุโสในเดือนธันวาคม ค.ศ. 1942 ต่อมาในเดือนกุมภาพันธ์ ค.ศ. 1943 ได้รับแต่งตั้งเป็นผู้บัญชาการกองทัพยานเกราะที่ 5 () ในบัญชาของจอมพลแอร์วีน ร็อมเมิล บนทวีปแอฟริกาเหนือ