Mot slutten av 1944 ble Himmler kommandant for armégruppen «Oberrhein», som kjempet mot den amerikanske 7. armé og den franske 1. armé i Alsace, på vestbredden av Rhinen. Han hadde denne posisjonen inntil tidlig i 1945, da han flyttet over til en tilsvarende posisjon på Østfronten, som da stadig nærmet seg Tyskland. Han hadde ingen erfaring i felt og ble raskt fjernet fra posisjonen. I stedet ble han kommandant for hjemmehæren i Tyskland. Samtidig ble han utnevnt til innenriksminister (ved Reichsministerium des Innern), og mange regnet ham som kandidat til å etterfølge Hitler. Senere forskning har vist at Hitler ikke tenkte seg det, fordi han mente at den autoritet Himmler hadde hatt som leder for SS hadde gjort ham så hatet at partiet ville avvise ham som fører. Himmlers svik mot Hitler mot slutten av krigen skulle sette et endelig punktum for muligheten til å være hans etterfølger.