Erdmann ble født i Insterburg i daværende Østpreussen. Under første verdenskrig tjenstgjorde Erdmann som offiser i den tyske hæren og arbeidet senere som postbetjent. I 1935 meldte han seg til Wehrmacht og ble utplassert ved Generalkommandoen i Königsberg i 1944 med rang som oberstløytnant.