Nos últimos tempos da guerra, Berger passou por diversos cargos, ao mesmo tempo que continuava como chefe do SS-HA. Teve um papel-chave no Ministério do Reich para os Territórios Ocupados a Leste a partir de meados de 1942, permitindo que SS administrassem grande parte da economia a leste. Neste papel, propôs um plano para raptar e escravizar crianças daqueles territórios com idades compreendidas entre os 10 e os 14, sob o nome de código "Heuaktion", um plano que acabou por ser realizado. Em resposta à Revolta Nacional Eslovaca em Agosto de 1944, Berger foi nomeado Comandante Militar da Eslováquia, estando neste posto durante o fracasso inicial para bloquear a revolta. No mês seguinte, foi nomeado para um dos dois chefes-de-estado da milícia "Volkssturm", e chefe dos campos dos prisioneiros de guerra. Nos últimos meses do conflito, Berger comandou as forças alemãs nos Alpes Bávaros, as quais incluíam tropas das restantes unidades "Waffen-SS" que ele ajudou a recrutar. Berger entregou-se às tropas americanas perto de Berchtesgaden, sendo detido de imediato. Foi julgado e condenado no Julgamento dos Ministros dos Tribunais Militares de Nuremberga dos Estados Unidos por crimes de guerra, sendo sentenciado a 25 anos de prisão. A sua pena foi reduzida para 10 anos, e foi libertado após cumprir seis anos e meio. Depois da libertação, defendeu a reabilitação das "Waffen-SS" e trabalhou em diversas empresas industriais. Morreu na sua terra-natal em 1975.