Karl-Heinz Rux var son till en ingenjör. Han gick i folkskolan och gymnasiet i Deutsch Krone. Därefter studerade han rättsvetenskap vid universiteten i Jena, Köln och Bonn. År 1933 inträdde Rux i NSDAP och SS. År 1935 utnämndes han till assessor och verkade inom Gestapo i Münster, Königsberg och Elbing. Efter "Anschluss", Tysklands annektering av Österrike, deltog han i uppbyggnaden av Gestapo i Salzburg.