Mot slutet av andra världskriget samarbetade Berger med Alfred Rosenberg, som 1941 hade utsetts till riksminister för de ockuperade områdena i öster. Berger var en av dem som hade ansvar för Generalplan Ost. Därtill ledde Berger organiserandet av paramilitära miliser i Polen. Han ledde styrkorna som slog ner det Slovakiska upproret i slutet av år 1944. Den 1 oktober samma år blev han chef för administrationen av Tysklands krigsfångar.