Klein inträdde tidigt i Nationalsocialistiska tyska arbetarepartiet (NSDAP) och deltog i Adolf Hitlers ölkällarkupp i november 1923. Inom Hitlerjugend befordrades han 1935 till Obergebietsführer (motsvarande general i Wehrmacht) och ansvarade för områdena Hochland, Schwaben, Franken och Pfalz.