Etter den nasjonalsosialistiske maktovertakelsen i 1933, rekrutterte Heydrich, som leder av , Müller inn i sin organisasjon. Müller gikk inn i SS i 1934. I 1936 var Heydrich sjef for Gestapo med Müller som operasjonssjef. Müller avanserte raskt i gradene og ble i 1939 . Samme år ble han medlem av NSDAP etter at Himmler hadde gjort det klart at det var nødvendig for videre avansement. I september samme år ble (RSHA) opprettet, og Müller ble sjef for Amt IV (det vil si Gestapo). Det var på denne tiden han fikk kallenavnet «Gestapo-Müller», blant annet for å skille ham fra en annen SS-general med samme navn.