Poté, co se nacisté dostali v roce 1933 k moci, byl povolán Heydrichem pod jeho vedení do SD. V roce 1934 vstoupil do SS. Díky doporučení od Heydricha zaznamenal v gestapu velmi rychlý postup, od roku 1939 se stal jeho šéfem. V té době získal svoji přezdívku "Müller od Gestapa". V roce 1939 byl společně s Heydrichem organizátorem fingovaného přepadení radiostanice v Hlivicích.