Piekenbrock kom fra en velstående katolsk familie. Han studerte opprinnelig rettsvitenskap, men avbrøt studiene da første verdenskrig brøt ut. Han tjenestegjorde i kavaleriet under krigen, og fortsatte tjenesten som offiser i Reichswehr etter krigen. Han søkte overgang til Abwehr i 1936, der han ble en av Wilhelm Canaris' mest betrodde menn som leder for Abwehr-avdelingen for spionasje. Som Abwehr-oberst møtte han blant annet Vidkun Quisling i København like før angrepet på Norge i 1940 for å diskutere den norske forsvarsberedskapen.