Po Anšlusu v roce 1938 se Mildner stal šéfem gestapa v Linzi a v 1939 v Salzburgu. Od prosince 1939 do začátku roku 1941 vedl gestapo v Chemnitzu. V březnu 1941 byl jmenován vedoucím úřadovny gestapa v Katovicích. Tento úřad v čele s Mildnerem byl ve spojeni s koncentračním táborem v Osvětimi a sloužil jako hlava „vykonstruovaných procesů“, který odsoudil 2000 Poláků k smrti. V roce 1942 obdržel válečný záslužný kříž 2. třídy za boj proti nepřátelům říše.