1911年9月20日、ドイツ帝国の都市ボン市で生まれる。帝政崩壊後、キールの工科大学で学び、機械技師となった。1931年にナチス党と親衛隊(SS)に入る。アマチュアのボクサーであったため、ナチスの街頭闘争時代の共産党員との殴り合いで活躍した。1934年、一緒に入党した旧知のラインハルト・ハイドリヒに呼ばれてナチス党の諜報機関であるSD(保安諜報部)に入る。以降、ハイドリヒの腹心となって暗殺や盗聴、偽造などの工作活動などに従事した。特に1935年初めにおこなったルドルフ・フォルミス（）の暗殺や、1937年6月11日にソ連でおきたミハイル・トハチェフスキー元帥粛清事件での暗躍、1939年3月にチェコスロバキアでスロバキア分離主義者のテロに見せかけて起こした爆破工作などでスパイとしての名声をあげた。1939年8月にはハイドリヒからドイツ軍のポーランド侵攻の口実作りのためのヒムラー作戦の指揮を任された。