Arndt ble født i Datteln, Westfalen, og fullførte folkeskole før han begynte som skomakerlærling. Etter å ha fullført sin lærlingetid og bestått svenneprøven i 1929, ble han ansatt i Ordnungspolizei (Orpo). Mellom 1933 og 1935 tjenestegjorde han i Landespolizei, hvor han også gjennomgikk ett års politiskole og rideskole. Han tjenestegjorde senere ved ridende politi i Bochum og Berlin.