Khi cuộc Chiến tranh Pháp-Đức bùng nổ, Arnim, với quân hàm Thiếu tá, được bổ nhiệm làm Tư lệnh của Tiểu đoàn Jäger Cận vệ, đã tham gia chiến đấu trong các trận đánh lớn tại Gravelotte, Sedan, cũng như trong cuộc Cuộc vây hãm Paris. Nhờ những cống hiến của mình trong cuộc chiến, ông được nhận Huân chương Thập tự Sắt Hạng nhất và Hạng nhì. Sau khi chiến tranh kết thúc, Arnim tiếp tục giữ cương vị là Chỉ huy trưởng Tiểu đoàn Jäger Cận vệ và trong Ngày Sedan năm 1873 ông được phong quân hàm Thượng tá. Vào ngày 28 tháng 10 năm 1875, ông được giao quyền chỉ đạo ("Führung") Trung đoàn Phóng lựu Cận vệ Hoàng đế Franz số 2, và vào ngày 20 tháng 9 năm 1876, ông được thụ phong "Tư lệnh" ("Kommandeur") của trung đoàn đồng thời lên cấp bậc Đại tá.