Валтер Шимана постъпва с чин майор в полицията през 1935 година, а след Аншлуса с Австрия от 1938 година участва в изграждането на моторизираната жандармерия. През август 1939 година се прехвърля от СА в СС (с номер 337 753), където е приет с чин Щандартенфюрер. До средата на февруари 1941 година е в SS-Stammabteilung в област 11, като същевременно през 1940 година е началник на жандармерийското училище Зул, а от ноември 1940 година до септември 1941 година и на жандармерийското училище Дегинген. От юли 1942 до октомври 1944 година е част от личния щаб на Райхсфюрер-СС Хайнрих Химлер