הימלר עודד הולדת "טהורי גזע" באמצעות ארגון הלבנסבורן בהן זיווג אנשי האס אס עם נערות "טהורות גזע" רווקות, ודאג לגידול הילדים שנולדו מזיווג זה. כן דרש לאפשר לאנשי אס. אס. לשאת אישה שנייה, ולהורות לכל אישה עד גיל 35 בגרמניה ללדת ארבעה ילדים "טהורי גזע", ואחת היא אם אביהם נשוי או רווק. דרישה זו הפכה לפקודה, שניתנה ב 28 באוקטובר 1939, וקבעה שמשימתן העליונה של "טהורות הגזע" היא ללדת את ילדי הלוחמים היוצאים אל המלחמה.
במסגרת תפקידו כ"נציב הרייך לביסוס הגזעיות הגרמנית", תפקיד אותו קיבל בצו סודי של היטלר ב 7 באוקטובר 1939, החל בהכנות מעשיות לכיבוש ושיעבוד האדמות הנרחבות במזרח, תוך "ביעור ביולוגי" של היושבים בהן. הסלאבים ישועבדו ויורדו לרמה תרבותית שלפני גילוי הקריאה והכתיבה, צוענים ויהודים יושמדו. התוצאה במסגרת חזון זה הייתה אמורה להיות אזור נרחב זרוע בכפרים קטנים וירוקים שבהם יחיו האדונים הגרמנים טהורי הגזע תוך שהם חוגגים את יום ההיפוך הקיצי ושאר חגי הטבע הנורדים, ונאבקים את מאבק הקיום המתמיד כנגד המוני "תת האדם" הסלאביים, שייהדפו לאזורי הספר הרחבים שמעבר להרי אוראל, שעל פי התוכנית הנאצית להרי אורל היו אמורים לשמש כגבול המזרחי של הרייך.
רעיון זה חייב את הקמתו של מנגנון נרחב לשעבוד והשמדה, והימלר הועמד בראשו. למעשה היה זה מנגנון המשך, שכן כבר בשנת 1932 הקים את שירות הביון של האס־אס, ה"זיכרהייטדינסט" או האס דה. בראשו הציב את ריינהרד היידריך איש אלים ואכזר. לאחר ליל הסכינים הארוכות, היטלר מסר את הפיקוד על מחנות הריכוז - מחנות מעצר גדולים, והידוע שבהם דכאו, שהיו נתונים עד אז בידי רהם, להימלר. לצורך איוש התפקידים במחנות הריכוז הוקמה יחידת אס־אס בשם "יחידות גולגולת המת" (טוטנקופפברבנדה), אליה גויסו האלימים ביותר מהמצטרפים לאס־אס, אנשים שנמשכו מטבעם לפעולות מסוג זה. שני מנגנונים אלה (ומנגנון שלישי, קטן בהרבה, מנגנון ה"אותנסיה" – אנשים שהיו אחראים על "תוכנית T4 - אותנסיה" שבוצעה בגרמניה עד לשנת 1941 וכללה בעיקרה השמדתם ועיקורם של חולי רוח וחולים כרוניים) – היוו את הבסיס לרשת הנרחבת של כוחות הרצח: מחנות ריכוז, כיתות "איינזצגרופן" - יחידות שדה שעסקו בהפחדה ורצח במקומות היישוב הכבושים, ומאוחר יותר מחנות השמדה, שהחלו עד מהרה לפעול ברחבי אירופה תחת פיקודו של הימלר.
הימלר עצמו לא גילה את קור הרוח אותו דרש מאנשיו, וכאשר נכח, באוגוסט 1942, בהוצאה להורג המונית של יהודים ליד בור הריגה בבלארוס – לא עמד במחזה והתעלף.
הימלר היה אחד משותפי הסוד שקיבלו באופן אישי מהיטלר את הפקודה להשמדת היהודים בשואה, והיה אחד מהמבצעים הראשיים של הפקודה בפועל. בנאום שנשא בכנס מפלגתי באוקטובר 1943 בעיר פוזן (כיום פוזנן בפולין) חשף הימלר בפני שומעיו את סוד "הפתרון הסופי", בנאום אשר נערך כ-3 שעות ודיבר על אנשי האס־אס המבצעים את פקודות השמדת העם שקיבלו, תוך שהם שומרים על "מצפונם" ואינם נוגעים ברכוש היהודים המושמדים, ובלשונו:
מלחמת העולם השנייה.
עם פרוץ מלחמת העולם השנייה היה הימלר ראש מנגנון ענק, שבמהרה עבר שינוי והוסב בחלקו ליחידות לוחמות שכונו ואפן אס אס. בתחילה מנה האס־אס כמאה וחמישים אלף איש (בשנת 1940). עם סיום המלחמה מנה האס־אס כולו, כשחלקו הגדול הוא הוואפן אס־אס, כ-800 אלף איש. הוואפן אס.אס. שהחל את דרכו עם שלוש דיוויזיות, מנה בסיום המלחמה 35 דיוויזיות. חלק מהן דיוויזיות שהיו מורכבות מתושבי הארצות הכבושות, וארצות האוהדות את המטרה הנאצית.
בזמן המלחמה הקים הימלר את מנגנון ההשמדה הנאצי ועמד בראשו. הוא היה אחראי באופן אישי לכל פעולות ההשמדה שביצע האס־אס ולפעולות רצח עם נוספות כלפי עמים רבים באירופה – הסלאבים והצוענים.
מתחילת המלחמה הייתה יריבות בין מנגנון האס-דה, שירות הביון של האס־אס ובין האבווהר, זרוע הביון של הוורמאכט. בראש האבווהר עמדו דמויות אנטי נאציות כמו וילהלם קנריס והנס אוסטר, ולמעשה עסק באופן אינטנסיבי בפעולות שמטרתן הפיכת המשטר ברייך השלישי. לאחר קשר העשרים ביולי ב-1944 הסתיימה יריבות זו במעצרם של ראשי האבווהר בידי האס־אס ורציחתם. בשלב זה היה כוחו של הימלר בלתי מוגבל בכל מקום בו שלט הרייך השלישי. ה"רייכספיהרר", כפי שכינה עצמו ("המנהיג הלאומי"), היה האיש החזק ברייך, שני בכוחו אך להיטלר עצמו.
בשנת 1944 היטלר החליט להעביר בהדרגתיות את הפיקוד מהצבא לאס אס. הימלר מונה למפקד קבוצת הצבאות "אובר ריין" אשר נלחמה מול כוחות הברית באזור אלזס - בניסיון לכבשו בחזרה על פי פקודת היטלר, למרות מיעוט הכוחות הגרמניים שם. יש הטוענים כי תפקידו היה בעיקר ייצוגי, אם כי באזור זה הגרמנים עסקו במדיניות "אדמה חרוכה" בהבעירם ובהשמידם חלקים ניכרים מהכפרים והעיירות באזור.
ב-12 בינואר 1945 הצבא האדום החל במתקפה אל תוך גרמניה עצמה. ראשי הצבא הגרמני, ובהם הגנרל היינץ גודריאן, ראו צורך בהקמת קבוצת ארמיות שתוקצה להגנת המרווח בין הכוחות הגרמניים בויסלה לאלו שבנהר האודר התחתון, מול הצבא האדום המתקדם. קבוצה זו, שנקראה קבוצת ארמיות ויסלה, הוקמה בינואר 1945, ריכזה כוחות רבים ממקומות שונים ובשיאה מנתה 500,000 חיילים. ב-23 בינואר 1945 במסגרת ההחלטות על העברת הפיקוד בצבא לידי האס. אס., היטלר מינה את הימלר למפקד קבוצת הארמיות החדשה. הימלר היה חסר כל כישורים לפיקוד קרבי, אך קיבל עליו את המינוי. הוא הקיף עצמו במפקדים מן הוואפן אס־אס, והרחיק את קציני המטה הכללי שתכננו את המתקפה.
ב-18 במרץ 1945 לקה הימלר בשפעת ופרש למרפאה, שם ביקר אותו הגנרל גודריאן וניסה לשכנע אותו לפרוש מן הפיקוד על קבוצת הארמיות. ביום שלאחר מכן מסר הימלר את הפיקוד לגנרל גוטהרד היינריצי. בביקור של היטלר במטה גודריאן, היטלר שינה לגנרל את התוכניות לגבי מתקפת הנגד שנועדה לקבוצה זו, (בשם מבצע מיפנה - בגרמנית "Unternehmen Sonnenwende") אך נכנע לאחר ויכוח סוער שכלל צרחות לכך שהפיקוד על המבצע יהיה של היינריצי ולא של הימלר. יש הטוענים שההכנה הלקויה תחת פיקודו של הימלר ומפקדי האס.אס. הייתה בעוכרי הפעולה, שהייתה יכולה להצליח מכיוון שהחיילים הסובייטים היו עייפים וחסרי ציוד, כלי הרכב והטנקים שחוקים לאחר שבועות של נסיעה, והיחידות מפוזרות לאורך קווי אספקה ארוכים. חלק מחיילי הקבוצה נלחמו עד לכניעתה של גרמניה, אך רוב הניצולים היו בין הנכנעים לכוחות הברית.
מגעיו של הימלר עם בעלות הברית.
כבר בשנת 1943 הגיע הימלר למסקנה כי המלחמה אבודה, והחל לחשוש לעורו. באוגוסט 1943 הסכים הימלר לפגישה שערך מקורבו, עורך דין בשם לנגבן, עם גורמים מבעלות הברית המערביות בעיר ברן, על מנת לדון ב"שלום נפרד". הפגישה נתגלתה לראש האס-דה ולטר שלנברג, והוא אסר את לנגבן עם שובו לברלין. שלנברג, וכן סגנו של הימלר, מילר, העבירו את המסמכים המפלילים שמצאו אצל לנגבן למרטין בורמן והוא הציג אותם להיטלר. אין לדעת כיצד יצא הימלר בשלום מעניין זה, יש המשערים שטען כי לנגבן נפגש עם מי שנפגש שלא בהסכמתו ושלא בידיעתו, אחרים מצביעים על פעולות של היטלר עצמו בכיוון זה. בכל אופן, היטלר תמיד סמך על ידידו, וכינה אותו "טרוייא היינריך" (היינריך הנאמן). לנגבן הוצא להורג, לאחר העשרים ביולי 1944, בגל ההוצאות להורג ששטף את גרמניה, והפרשה הושתקה סופית.
החל מינואר 1943, נפגש שליח של הימלר, אגון פון הוהלואה, עם ראש המודיעין האמריקאי אלן דאלס בברן, כדי לדון בהצעת שלום.
באוקטובר 1943 נפגש קרסטן, שליחו של הימלר עם היואיט, איש מודיעין אמריקאי, ומסר לו שהימלר מעוניין בשלום עם בריטניה וארצות הברית. מספר ימים אחר כך, היואיט נפגש גם עם ראש האס-דה ולטר שלנברג, באותו נושא.
באוקטובר 1943, הרוסים הגישו הצעת שלום לגרמנים. היטלר והימלר התנגדו להצעה, אך גבלס וריבנטרופ היו מעוניינים בה.
בשנת 1944 הימלר עמד מאחורי המשא והמתן שכונה סחורה תמורת דם, אותו ניהל אדולף אייכמן באמצעות הקולונל קורט בכר, תוך שימוש בישראל קסטנר, ביואל ברנד, בבנדי גרוס (יהודי מומר שהיה כנראה סוכן כפול בין ארצות שונות), ובמידה מסוימת גם ברב מיכאל דב ויסמנדל, על שחרור חלק מיהודי הונגריה שעמדו בפני השמדה, תמורת משאיות, תשלום כסף, ועדות לטובתם במשפט לאחר המלחמה. למעשה היה זה ניסיון למשא ומתן ישיר עם נציגי מעצמות המערב לגבי כניעה מסודרת, או הצטרפות למאבק נגד ברית המועצות, בהסוואה של משא ומתן לשחרור יהודים.
במגעים אלו יצר קשר עם הדיפלומט השוודי פולקה ברנדוט וניסה לדון איתו על כניעה נפרדת לכוחות הברית, או על מתן חסינות אישית, תוך שהוא מחזיק בחיי מיליוני האסירים במחנות הריכוז כקלף מיקוח אישי. בתחילה המגעים היו בהתכתבות באמצעות העוזר והמיסטיקן שלו, פליקס קרשטן שעבר לגור בשוודיה. בהמשך היו גם ארבע פגישות שאורגנו באביב 1945 כשנראה בוודאות הפסדה של גרמניה. מטרה נוספת לפגישות הייתה הבטחת חנינה אישית וכוללת להימלר ואנשיו, ו"לקבור את הגרזן" כלשונו. אך מסיבות שונות לא הגיעו לידי מיצוי. פגישתם האחרונה התקיימה בעיר ליבק שעל חוף הים הבלטי, באפריל 1945. הימלר הגיע לפגישה כיורשו בפועל של היטלר, שעדיין היה חי, אך נצור בבונקר בברלין (ממנו נמלט הימלר עצמו ברגע האחרון). הוא ביקש מברנדוט להודיע לגנרל אייזנהאואר על כניעת הכוחות הגרמנים במערב, ואף חתם על מסמך שניסח ברנדוט. לפעולות אלו לא הייתה כל משמעות מעשית.