W trakcie studiów zaangażował się w politykę po stronie nazistów. Wstąpił do Niemieckiej Partii Robotników (DAP), następnie do Narodowosocjalistycznej Niemieckiej Partii Robotników (NSDAP) w sierpniu 1923, jako członek nr 41 404. Główną postacią ruchu nazistowskiego był dla niego Ernst Röhm, którego spotkał pierwszy raz w 1922. Himmler wziął udział w nieudanym zamachu stanu, puczu monachijskim z 8 na 9 listopada 1923. Został wezwany do wykonania zadania dla partii, o którym wiedział, że będzie to przełomowe wydarzenie. Był chorążym u boku Röhma, niósł flagę grupy "Reichskriegsflagge" – dawny cesarski sztandar wojenny. Brał udział w opanowaniu bawarskiej komendy wojskowej, w gmachu byłego Ministerstwa Wojny. Został aresztowany po puczu (według innych źródeł został jedynie rozbrojony i puszczony wolno) i został z niczym. Zrezygnował z pracy, aby oddać się walce politycznej, a partia została zdelegalizowana. Dodatkowo został rozwiązany jego oddział wojskowy. Ponownie zamieszkał z rodzicami i bezskutecznie poszukiwał zatrudnienia.