Pfeffer von Salomon, yedi çocuğun en büyüğü olarak doğdu. Aşağı Ren'in soylu bir ailesindendi. Askeri kariyere başlamadan önce hukuk okumuştu. I. Dünya Savaşı'nın bir Prusya Ordusu gazisi ve aynı zamanda bir Freikorps üyesiydi. Ününü, Fransızların Ruhr'un İşgaline (1923–25) son vermek için direniş grupları düzenleyerek kazandı. Yukarı Bavyera'da Gauleiter'di ve Heinrich Himmler bir zamanlar onun sekreteriydi.