Pfeffer von Salomon was de oudste van zeven kinderen uit een adellijke familie uit het Rijnland. Hij was actief in extreem-rechtse kringen, nam deel aan een vrijkorps dat aan de Kapp-Pusch deelnam en de Ruhropstand bestreed, en is vermoedelijk in de vroege jaren lid van de NSDAP geworden. Tijdens de Franse bezetting van het Ruhrgebied organiseerde hij het verzet aldaar, waarvoor de Fransen hem ter dood veroordeelden. In 1924 richtte hij samen met Joseph Goebbels de NSDAP-Gau Westfalen op. Hitler benoemde hem in 1926 tot "Oberster SA-Führer" (hoogste SA-leider) van de Sturmabteilung (SA), die werd heropgericht na een tijd lang verboden en ondergronds te zijn geweest. Hij bekleedde deze functie van 1926 tot 1930. Onder hem groeide de SA van 30,000 tot 80,000 maar meningsverschillen met Hitler over de organisatie en een opstand van de SA-leider Walter Stennes die hem zwaar werd aangerekend, leidden ertoe dat Hitler hem uit zijn functie zette.