På Peipers 18-årsdag ble Adolf Hitler utnevnt til rikskansler, og samme året gikk han sammen med broren Horst inn i Hitlerjugend, før dette ble obligatorisk. Han ønsket å bli tatt opp i kavaleri-divisjonen («Rytterregiment 4») i Reichswehr, og for å få kunnskap om hester fulgte han rådet fra familievennen, general Walter von Reichenau, og gikk 12. oktober 1933 inn i 7. SS Reiterstandarte. 23. januar 1934 ble han utnevnt til med SS-nummer . Under de 6. rikspartidagene i Nürnberg i 1934, Rikspartidag for enhet og styrke, ble han utnevnt til . Samme år ble Heinrich Himmler oppmerksom på ham, og overtalte han til å slutte seg til SS-Verfügungstruppe. Han skrev i sin rapport for 1935: «Som følge av en personlig formaning fra Reichsführer-SS, Himmler, har jeg besluttet å arbeide for en karriere som en aktiv, høyere SS-offiser». Peiper ble imidlertid aldri medlem av NSDAP og den offisielle listen over alle offiserer av midlere og høyere grad, , nevner ikke Peiper.