Berger var en av Himmlers mest betrodde menn, og var en av SS-lederens såkalte «tolv apostler». Mot slutten av andre verdenskrig samarbeidet han med Alfred Rosenberg, som 1941 hadde blitt utnevnt til riksminister for de okkuperte områdene i øst.