Stelter fikk sin grunnskole- og videregående utdanning i Kustrin fra 1917 til 1930, da han avla sin studenteksamen. Han studerte jus ved universitetene i Marburg og Königsberg fra 1930 til 1933. Etter dette var han i Reichsarbeitsdienst og gjennomførte militær opplæring fra oktober 1935 til oktober 1936. Han begynte deretter i politiet som frivillig, og ble opptatt i Kripo i Berlin. Stelter gjennomgikk politiskolen for Kriminal Kommissaranwärter i Berlin-Charlottenburg og besto sine avsluttende eksamener i august 1939.