Anfang 1800 trat Steltzer als Auskultator in den Staatsjustizdienst ein und wurde kurze Zeit nach seinem Antritt zum Regierungsreferendar an das Landesjustizkollegium Magdeburg berufen. Im Februar 1803 wurde im Zuge des Reichsdeputationshaupttreffens unter Leitung des Staatsministers Friedrich Wilhelm von der Schulenburg-Kehnert eine Kommission nach Hildesheim und Paderborn geschickt, welcher Steltzer angehörte. Während der Zeit in der Kommission erfolgte die Beförderung zum Assessor. Nach Auflösung der Kommission Ende 1804 war er Kriminalrat und Inquisitor am neu errichteten Inquisitoriat in Hildesheim. Mit der „Fremdherrschaft“ 1808 wurde er zum "Procureur du Roi" (Staatsanwalt) am neu errichteten Distriktstribunal Halle ernannt, welcher er bis nach den Befreiungskriegen blieb.