Han sluttet seg til hæren, ble Hauptmann med ansiennitet fra 1. mai i 1934. I 1936 ble han rekruttert til den tyske militære etterretningstjenesten eller Abwehr av Admiral Wilhelm Canaris som kaptein. Han ble stasjonert først i München, deretter Wien, så tilbake til Tyskland til Hærens hovedkvarter i Zossen hvor han ble forfremmet til (oberstløytnant). Mens han var i München Rudolf von Marogna-Redwitz, og i Wien, begynte han å samle inn dokumentasjon av nazistenes forbrytelser.