ฮิมเลอร์เคยรับใช้จักรวรรดิเยอรมันโดยการเป็นทหารในกองพันสำรองในช่วงสงครามโลกครั้งที่หนึ่ง หลังจากนั้นก็เข้าศึกษาด้านปฐพีวิทยา และเข้าร่วมกับพรรคนาซีใน ค.ศ. 1923 เมื่อพรรคนาซีล้มเหลวในการทำรัฐประหารโรงเบียร์ ฮิตเลอร์และบรรดาผู้นำของพรรคนาซีต่างถูกรัฐบาลจับกุมและต้องโทษจำคุก ฮิมเลอร์รอดคุกมาได้เนื่องจากพยานหลักฐานไม่เพียงพอ หลังพรรคนาซีเริ่มมีอำนาจ ในปี ค.ศ. 1929 ฮิตเลอร์ก็แต่งตั้งให้เขาเป็น "ไรชส์ฟือเรอร์-เอ็สเอ็ส" โดยตลอด 16 ปีที่เขาดำรงตำแหน่งนี้ เขาได้ทำให้หน่วยเอ็สเอ็สมีกำลังพลเพิ่มขึ้น จาก 290 นายเป็นกว่าล้านนาย เขาจัดตั้งค่ายกักกันนาซีตามคำสั่งของฮิตเลอร์ เขามีทักษะในการบริหารองค์กรและคัดเลือกคนเก่ง ๆเข้ามาทำงาน อาทิ ไรน์ฮาร์ด ฮายดริช เป็นต้น ในปีค.ศ. 1943 ฮิมเลอร์ได้ดำรงตำแหน่งควบทั้งผู้บัญชาการตำรวจและรัฐมนตรีมหาดไทย คอยควบคุมดูแลหน่วยรักษาความสงบเรียบร้อยและกำลังตำรวจทั้งหมดในไรช์ รวมถึงหน่วย เกสตาโพ (ตำรวจลับ)