Ab März 1940 hatte Berger maßgeblichen Anteil an der Aufstellung eines „Wilddiebkommandos“ unter Führung von Oskar Dirlewanger, aus dem heraus sich die SS-Sondereinheit Dirlewanger entwickelte. Dirlewanger stammte aus Württemberg und diente zusammen mit Berger im Ersten Weltkrieg in der gleichen Einheit. 1937 war Dirlewanger wegen Unzucht mit einer Minderjährigen zu einer zweijährigen Gefängnisstrafe verurteilt worden; auf Bergers Betreiben wurde er vorzeitig entlassen. Im April 1940 setzte sich Berger für die Aufnahme Dirlewangers in die Waffen-SS ein. Dirlewangers Einheit wurde insbesondere bei der „Bandenbekämpfung“ in Weißrussland eingesetzt, bei der zahlreiche Zivilisten ermordet wurden. Die „Bandenbekämpfung“ war begleitet von Massenvergewaltigungen und weiteren Exzessen, die Opfer waren häufig minderjährige Frauen und Kinder. Hieran war teilweise auch der eigens dazu aus Berlin angereiste Berger beteiligt. Berger war es auch, der Dirlewanger vor Kritik – auch innerhalb der SS – schützte. Ein Schreiben Dirlewangers an den Adjutanten Gottlob Bergers vom März 1944 dokumentiert ein Entgelt von je zwei Flaschen Schnaps pro Frau für insgesamt zehn Zwangsarbeiterinnen, die Dirlewanger für das SS-Hauptamt „beschaffte“. Während der sowjetischen Offensive im Sommer 1944 bot Berger Himmler an, an der Spitze des Dirlewanger-Regiments „für Ordnung zu sorgen“, was Himmler ablehnte.