Au sein de la police politique, Müller devient l'expert de Heydrich pour tous les aspects de la lutte anti-communiste, qui vise notamment au démantèlement du KPD ; tout comme son supérieur, il est fasciné par les méthodes d'interrogatoire des Soviétiques, qui leur permettent d'obtenir des « aveux monstrueux » lors des procès de Moscou. Il n'est pas exclu qu'il ait joué un rôle dans l'élimination par Joseph Staline de Mikhaïl Toukhatchevski et d'une grande partie de la hiérarchie militaire de l'Armée rouge en 1937. Infatigable expert en bolchevisme, Müller considère son bureau comme un second chez-soi : selon Rudolf Höss, on peut le joindre à tout moment, de jour comme de nuit, et le dimanche comme les jours de fête. Son zèle est récompensé : le , il succède à Heydrich à la direction du deuxième département du SD, chargé des affaires de politique intérieure ; en , lors de la création du RSHA, il est officiellement nommé à la tête du quatrième bureau du RSHA, la Gestapo, qu'il dirige depuis 1935 et dont la compétence recouvre tout le territoire du Reich depuis le (L200). À ce poste, Müller développe une rivalité avec le directeur de la Kriminalpolizei, Arthur Nebe. Successeur potentiel de Heydrich, dont il assure le suivi des affaires en cas d'absence, Müller voit la progression de sa carrière s'arrêter avec la mort de son protecteur, le . Il reste cependant le chef incontesté de la Gestapo jusqu'à sa disparition, le ou .