Nach der Übernahme in die Wehrmacht 1935 war er ab Oktober 1937 im OKW. 1939 war er, am 1. August 1936 zum Major befördert, war er in der Inlandsabteilung im Allgemeinem Wehrmachtamt des OKW. Hier werde er Leiter der Gruppe II der Inlandsabteilung. Zu dieser Zeit veröffentlichte Pfeifer mehrere Beiträge, welche den Themenkomplex des politischen Soldaten aufgriffen. Ab 27. September 1939 war er Kommandeur des III./Infanterie-Regiment 185 bei der 87. Infanterie-Division. Die neu aufgestellte Division nahm am Westfeldzug teil, Pfeifer wurde am 1. Dezember 1939 zum Oberstleutnant befördert und die Division besetzte im Juni 1940 Paris. Bis zu seiner nächsten Kommandierung war die Division als Besatzungstruppe in Frankreich. Am 5. Juni 1940 übernahm er bis 24. November 1942 das Kommando über das Infanterie-Regiment 185; ab Oktober 1942 Grenadier-Regiment 185; und verlegte von Frankreich an die Ostfront. Es folgte u. a. die Teilnahme an der Kesselschlacht bei Białystok im Juni/Juli 1941 und marschierte im Unternehmens Taifun auf Moskau. Im Oktober 1941 wurde Pfeifer zum Oberst (Patent 1. Juni 1941) befördert. Später wurde die Division in der Schlacht von Rschew eingebunden. Aufgrund einer Verwundung gab er das Kommando ab und wurde in die Führerreserve versetzt. Von Juli 1943 bis August 1943 war zu einem Divisionsführerlehrgang kommandiert. Anschließend wurde er erneut in die Führerreserve versetzt und im September 1943 Generalmajor.