Albert Speer
軍事面外，戈林在政治與權力上也逐漸被邊緣化。自1942年起，阿尔伯特·斯佩尔被希特勒任命為軍備部長，與戈林的職權有所重疊，導致後者權力遭到削弱；1941年獨自飛往英國謀和的德國副元首赫斯的繼任者——馬丁·鮑曼也是戈林政治權力的競爭對手，在戈林處於低潮時常在希特勒耳邊加以中傷，進而影響了希特勒對戈林的評價。儘管戈林仍為四年計畫總負責人和空軍總司令，但希特勒在軍事會議上也不再要戈林出席。由於失去了希特勒的信任，無所事事的戈林開始大多數的時間都待在他數量眾多的私人別墅中，指揮部隊去佔領區掠奪他國財產，或用國庫公款去搜刮美術品，也常以「身體欠佳」為由隱退會議，對於德國逐以惡化的局勢则採取放任與逃避態度。