הוטל לעסוק ב"מלחמה בכנופיות", כלמור בפרטיזנים בבלארוס, שבמהלכה נרצחו אזרחים רבים.
"המלחמה בכנופיות" התלוותה במעשי אונס קבוצתיים ומעשים ברבריים אחרים, תכופות מכוונים נגד ילדים וקטינות.
ברגר פרש את חסותו על דירלוונגר והגן עליו מפני בקורת אף בתוך האס אס.
נשמר מכתב של דילוונגר לסגנו של ברגר במרץ 1944 בו תועד תשלום של שני בקבוקי שנאפס תמורת כל אחת מתוך עשר עובדות כפייה ש"נרכשו" על ידו עבור המשרד הראשי של האס אס. בעת המתקפה הסובייטית בקיץ 1944 הציע ברגר להימלר שיעמוד בעצמו בראש הגדוד של דירלוונגר על מנת "לדאוג לסדר", אך הימלר דחה את הרעיון.
במחצית השנייה של שנת 1944 תכננו הימלר וברגר לאחד את מסגרות הגיוס ברייך בתוך "משרד התייצבות" אחד שירכז את הגיוס לצבא, ואפן אס אס, משטרה, שירות העבודה של הרייך, הארגון טוט ומגזר העבודה האזרחי. בסופו של דבר תוכנית זו לא יצאה לפועל.
במלחמת העולם השנייה.
אחרי 1 באפריל 1943 עבד ברגר גם כאיש קשר של הימלר עם המשרד לענייני אזורי המזרח של הרייך שבראשות אלפרד רוזנברג
עוד בינואר 1943 דנו ברגר והימלר בבעיות שהתעוררו ביחסים בין האס אס ובין המשרד לענייני אזורי המזרח, לרבות בפתרון החיכוכים עם נציבי הרייך באוקראינה, אריך קוך וב"אוסטלנד", הינריך לוהזה. בשלב מסוים עמד על הפרק מינויו של ברגר למזכיר מדינה במשרד לענייני אזורי המזרח אך המינוי לא התבצע.
ב-20 באפריל 1941 הועלה ברגר לדרגת גרופנפיהרר-אס אס וגנרל-לוטננט של ואפן אס אס וב-21 ביוני 1943 לדרגת אוברגרופנפיהרר וגנרל של ואפן אס אס. החל ממרץ 1942 הופקד על פיקוד ה"פוסטשוץ", היחידה להגנת הדואר. בתוקף תפקיד זה היה אחראי גם על הסעת הגרמנים הפצועים והחולים משדה הקרב אל העורף. ב-5 באוגוסט 1943 קיבל ברגר מושב ברייכסטג, הפרלמנט חסר החשיבות של הרייך, שלא כונס שוב אחרי 1942.
קשר מיוחד קישר ברגר עם הכפר ברגרסדורף (בצ'כית - קאמנה), כפר שהיה מיושב בעיקר על ידי גרמנים במחוז ייהלאווה (איגלאו) שבמוראביה. הוא פרש את חסותו על הכפר והעניק לו את התואר "אס אס דורף" ("כפר האס אס").
"מבצע שחת" (Heu-Aktion) ופעילותו בסלובקיה.
בקיץ 1944 הצטרף ברגר לאחראים על "המבצע שחת" או המבצע "הוי" (Heu - שחת בגרמנית) שנוהל על ידי רוזנברג ועל ידי הצבא, שבמהלכו נחטפו והובלו לגרמניה אלפי ילדים בגיל 10–15 משטחי בלארוס ומזרח פולין לעבודות כפייה בגרמניה.
ב-31 באוגוסט 1944, יומיים אחרי פריצת המרד הלאומי הסלובקי נגד הכובשים הנאצים נשלח ברגר כמפקד משטרה ואס אס (HSSPF) לפקד על דיכוי המרד. החל מ-6 בספטמבר 1944 כ"מפקד גרמני של סלובקיה" (בגרמנית: Deutsche Befehlshaber in der Slowakei) הוא איחד את יחידות הדיוויזיה המשוריינת "טטרה", יחידות האס אס ל"הגנה של הדואר", הקומנדו המיוחד של דירלוונגר ואת הקבוצות המשמר הלינקה של משתפי הפעולה הסלובקים. במילוי משימת הדיכוי בסלובקיה עמד ברגר תחת פיקודם הישיר של היטלר ושל ראש המטה הכללי של הצבא, וילהלם קייטל. במקביל להפעלת היחידות הנ"ל פעלו גם אדולף אייכמן, אלויס ברונר ויוזף ויטיסקה בציד אחרי היהודים וגירושם למחנות המוות. בעקבות הצלחותיו בסלובקיה זכה ברגר לשבחים מצד היטלר. למרות הימצאותו בסלובקיה למשך חודש בלבד, "נוכחותו הייתה מכריעה", מעריך ההיסטוריון ראול הילברג,
במכתב להימלר, כתב ברגר בביטחון מלא שהיהודים "שיחקו תפקיד מכריע במרד הסלובקי".
ב-19 בספטמבר בא במקומו לסלובקיה האוברסגרופנפיהרר אס אס הרמן הפלה.
בסוף ספטמבר 1944 ברגר התמנה לראש המטה של ה"פולקסשטורם", כוח התגבורת ה"עממי" שגויס בסוף המלחמה בקרב הגרמנים בני 16–60.
ב-1 באוקטובר 1944 הועבר לתפקיד "מפקח כללי על מתקני שבויי המלחמה".
ב-20 בפברואר 1945 דיווח להימלר כי ארגן פלוגות עבודה מקרב השבויים האמריקאים.
ב-17 באפריל 1945 ברגר השתתף בביתו של גבלס במשפט של הרופא קרל ברנדט, בעבר רופא של היטלר
ונציב לבריאות ותברואה של הרייך, שנידון למוות בגלל "תבוסתנות". בסופו של דבר העונש לא יצא לפועל.
ב-22 באפריל 1945 פגש ברגר את היטלר בפעם האחרונה בתוך הבונקר.
כ"נציג צבאי של הפיהרר בבוואריה" בליל 23 באפריל 1945 נמלט ברגר לדרום גרמניה. בבוואריה הוחזקו שבויי מלחמה חשובים כבני ערובה. בסופו של דבר מצא ברגר מקלט בעמק טנהיימר, בבית צייד של חברת רוברט בוש (שבעליה עמדו בקשר קרוב איתו מילדותו). לפי פיסות מידע אחדות, נלקח בשבי על ידי פלוגה צרפתית באותו מקום במאי 1945. לפי מידע אחר נעצר בברכטסגאדן.
לאחר מלחמת העולם השנייה.
בחודשים יוני-אוגוסט 1945 הוחזק ברגר בידי הבריטים ב"לונדון קייג'", מקום מעצר של שרותי המודיעין הבריטי. אחר כך הוחזר לשטח גרמניה והוחזק בנירנברג ובדכאו. על בסיס חומר תיעודי שנמצא אחרי המלחמה החליטו הרשויות האמריקאיות להעמיד את ברגר לדין בשלב מאוחר יותר אחרי משפטי נירנברג המרכזיים. טענותיו החוזרות של ברגר שלא ידע עד סוף המלחמה על רצח העם היהודי באירופה, הופרכו על ידי תעודות ועל ידי עדותו של גאורג ליבבראנדט, המנהל לשעבר של המשרד לענייני אזורי המזרח של הרייך.
ברגר היה אחד משנים עשר נתבעים במשפט ההמשך האחד-עשר שלאחר המשפטים המרכזיים בנירנברג, והמוכר בשם "משפט וילהלם-שטראסה", ושחלק מהנאשמים בו השתייכו למשרד החוץ. הוזכרה בדיונים גם החוברת "תת-האדם", שהפיץ המשרד הראשי של האס.אס שבפיקודו, ושבה תוארו בני העמים הסלבים "כנחותים מבחינה רוחנית ונפשית מכל בעלי החיים".
במשפט נגדו בשנת 1949 הואשם ברגר בצעידות הכפויות של שבויי המלחמה המערביים בשנים 1944–1945. בכתב האישום נכתב: "בין ספטמבר 1944 למאי 1945 מאות אלפי שבויי מלחמה אמריקאים ואזרחים בעלות הברית אולצו לבצע צעידות כפויות במזג אוויר קשה ללא מנוחה הולמת, קורת גג, ללא אספקת מזון, בגדים ועזרה רפואית מתאימים; צעידות אלה אורגנו תחת פיקודו של הנאשם ברגר, האחראי על מתקני שבויי המלחמה, גרמו לסבל גדול ולמותם של אלפי שבויים".
ברגר טען שזו הייתה למעשה חובת הגרמנים לפי הסכם ז'נבה להרחיק את השבויים מזירת קרב אפשרית, רחוק ככל האפשר על מנת לא להעמיד את חייהם בסכנה. הוא טען גם כן שההתקדמות המהירה של הצבא האדום הפתיעה את הגרמנים, שתוכניתם המקורית הייתה להסיע את השבויים ברכבת. ברגר טען שמחה נגד החלטתו של היטלר, אבל היה לדבריו, "חסר כוח או סמכות כדי לבטל את הפקודה או להתחמק ממנה. סעיף האישום הזה נפל בעקבות טענות אלה וכן מחמת חוסר בעדי ראייה, כשרוב השבויים לשעבר לא ידעו על קיום המשפט".
ב-13 באפריל 1949 נמצא ברגר אשם בפשעי מלחמה, בפשעים נגד האנושות, באחריות לעבודות הכפייה בשירות הרייך השלישי ובחברות בארגון פושע. הוא נידון ל-25 שנות מאסר. בפסק הדין הוטלה עליו אחריות, בין היתר, למותו של הגנרל הצרפתי השבוי גוסטב מני, שנרצח ב-19 בינואר 1945 בפקודתו של היטלר.
ברגר הואשם, בין השאר באחריות למעשי דירלוונגר ויחידתו, לרדיפות, שיעבוד ורציחות נגד יהודי הונגריה בשנת 1944, לגיוסים כפויים של זרים בשירות הוואפן אס.אס ובאחריות ל"מבצע שחת" ("Heu Aktion") בסלובקיה.
לאחר שברגר נמצא אשם בגלל תפקידו בשואת יהדות אירופה ונידון ל-25 שנות מאסר, עונשו הופחת בשנת 1951 ל-10 שנות מאסר, בגלל טענת ההגנה כי למרות פקודות ישירות מהיטלר, סירב ברגר להרוג את ה-"Prominente", כפי שנקראו בגרמנית הנחשבים שבקרב השבויים - מפורסמים או קצינים בכירים ביותר, שהוחזקו ב"מחנה הקצינים" Oflag IV-C שבטירת קולדיץ.
ברגר סייע לשבויי מלחמה אלה להימלט, על ידי העברתם לבוואריה ומשם לאוסטריה, בה פגש אותם פעמיים לפני שובם אל כוחות בעלות הברית. ברגר טען שהציל את ה-Prominente מידיו של ארנסט קלטנברונר, ששלח סוכנים על מנת לרצוח אותם. ברגר ידע לספר כי ב-22 באפריל 1945 היטלר חתם על פקודות ברוח זו (שחרור שבויים נחשבים). כמו כן, ברגר אמר שהוא התנגד לתוכנית שהוצעה על ידי הלופטוואפה ושאושרה על ידי היטלר, להקים מחנות מיוחדים לאחזקת הטייסים השבויים מן האימפריה הבריטית ומארצות הברית, כמגן אנושי במרכזן של הערים הגרמניות המופצצות על ידי צבאות בעלות הברית. ברגר אמר שהוא הבין כי מעשה כזה היה מפר את הסכמי ז'נבה. בעקבות שלל טענות אלו, ב-31 בינואר 1951 הפחית הנציב העליון האמריקאי בגרמניה ג'ון ג'. מקקלוי את העונש של ברגר ל-10 שנות מאסר. מקקלוי בחן באותו יום 89 בקשות חנינה. על רקע המלחמה הקרה והצורך להתחשב בביקורת דעת הקהל הגרמנית לגבי פסקי הדין במשפטי נירנברג, ובביקורות מסוימות שהושמעו בציבוריות האמריקני. למעשה, בחן הנציב מחדש את הליכי המשפט ומצא כי האשמות מסוימות לא התבססו על ראיות מספיקות. האחריות של ברגר לפשעים נגד האנושות ופשעי מלחמה לא הופרכה, אולם, למשל, במקרה של רצח הגנרל הצרפתי מני נשללה האחריות האישית של ברגר. נמצא כי בתקופה מסוימת דאג ברגר ליחס מיטיב כלפי השבויים מצבאות בנות הברית. ואחרי הפחתה נוספת של 10 ימים על כל חצי חודש של מאסר, בגין התנהגות טובה, ב-15 בדצמבר 1951 ברגר שוחרר מבית הכלא לפושעי מלחמה שבלנדסברג.
עוד לפני ששוחרר מן המאסר, התערבה חברת בוש (Bosch) לטובתו וביקשה מהשלטונות שברגר יעבור תהליך של דה-נאציפיקציה. עד 1952 התייצב ברגר מדי פעם בתחנת המשטרה בהימלפורטן על שטאדה בסקסוניה התחתית. ב-27 בפברואר 1952 קיבל תעודה על סיום תהליך הדה-נאציפיקציה שלו וב-21 במרץ אותה שנה זכה לתעודות נוספות.