Omdat Pfeffer von Salomon strubbelingen had met Josef Wagner en ook bevriend was met Rudolf Hess die in 1941 op eigen initiatief naar Groot-Brittannië vloog, werd hij in 1941 uit de partij gezet. In 1944 werd hij naar aanleiding van het Complot van 20 juli 1944 korte tijd als verdachte vastgezet maar nadien weer vrijgelaten. Hij overleefde de oorlog en werd niet van oorlogsmisdaden beschuldigd of door de geallieerden vastgezet, ondanks zijn hoge positie die hij binnen de NSDAP had bekleed. Na de oorlog hielp hij zijn broer Friedrich, die Gestapo-commandant was geweest, de rechtsconservatieve Deutschen Partei op te richten. In 1969 overleed hij. Hij lag begraven op het "Waldfriedhof Solln.", Plot-15 Rij-3 Graf-71/72 (grafsteen vernietigd.), München.