Pieper trat noch 1931 in den Polizeidienst ein und wurde bei der Politischen Polizei in Berlin tätig. Zur Zeit des Nationalsozialismus trat er 1935 der SS (SS-Nr. 267.324) und 1937 der NSDAP (Mitgliedsnummer 5.499.959) bei. Als Gestapo-Angehöriger war er ab 1938 als Polizeirat im Geheimen Staatspolizeiamt tätig, der Gestapo-Zentrale in Berlin. Im November 1941 wurde er zum SS-Sturmbannführer befördert, seinem höchsten erreichten SS-Rang. Ab Anfang Mai 1942 war er Leiter der Geschäftsstelle des Amts IV im Reichssicherheitshauptamtes (RSHA). Er gehörte nach dem Hitler-Attentat der "Sonderkommission 20. Juli 1944" an. In der Endphase des Zweiten Weltkrieges wurde er 1945 zum Regierungsrat befördert.