Arnim, Prusya'nın Silezya eyaletinde olan Ernsdorf'ta doğdu. Martha Honrichs (1865-1953) ve General Hans von Arnim'in (1861-1931) oğludur. 1907'den II. Dünya Savaşı sırasında 12 Mayıs 1943'te Tunus'ta esir düşene kadar Alman Ordusu'na hizmet etti. I. Dünya Savaşı boyunca hem Batı hem de Doğu Cephelerinde görev aldı. Savaştan sonra Reichswehr'de kalarak Berlin'deki seçkin 68. piyade alayına kumandanlık etti.