עם עליית היטלר לשלטון הצטרף פייפר לנוער ההיטלראי. מתוך רצון לשרת בחיל הפרשים של הרייכסווהר הצטרף ל-SS בו התקדם בדרגות. באמצע שנת 1936 צורף לסגל של דיוויזיית האס אס לייבשטנדרטה תחת פיקודו של יוזף דיטריך. ביולי 1938 הוצב במטהו של היינריך הימלר. פייפר מצא חן בעיני הימלר וצורף לצוותו האישי. בתפקידו זה השתתף בביקור של הימלר באיטליה. במתקפה על פולין במלחמת העולם השנייה, היה פייפר במטהו של הימלר שעסק בניהול פולין לאחר כיבושה. במהלך המערכה על צרפת ועל ארצות השפלה ביקש פייפר להצטרף ללוחמים ומונה למפקד מחלקה ולאחר מכן מפקד פלוגה. במהלך הקרבות הוא עוטר בצלב הברזל. פייפר שב למטהו של הימלר ב-21 ביוני 1940 ובנובמבר 1940 מונה לשלישו האישי של הימלר. במהלך מבצע ברברוסה עסק פייפר, בין השאר, באיסוף הנתונים על רצח יהודים ואחרים בידי האיינזצגרופן. באוקטובר 1941 מונה למפקד פלוגה שלחמה באזור מריאופול. במאי 1942 הועברה היחידה של פייפר לצרפת למנוחה, במסגרתה אורגנה מחדש היחידה כפאנצרגרנדיר ופייפר מונה למפקד גדוד. בסוף ינואר 1943 הועבר הגדוד של פייפר לחזית המזרחית ליד חרקוב, בה השתתף בקרב חרקוב השלישי.