En enero de 1941 fue enviado a Cracovia, en la Polonia ocupada, como comandante principal del SiPo y SD. Durante el tiempo en que Schöngarth estuvo estacionado en Cracovia, formó varios "Einsatzgruppen" (Grupos de Acción Especial) en Varsovia, Radom, y Lublin, con la intención de perpetrar masacres. Fue responsable del asesinato de hasta 10.000 Judíos polacos entre julio y septiembre de 1941 y de la masacre de profesores de Lwów detrás de la primera línea de Operación Barbarroja en la Unión Soviética. Schöngarth asistió a la Conferencia de Wannsee el 20 de enero de 1942, junto con el Dr.Rudolf Lange ("Einsatzgruppen" A), que también había participado en el Holocausto. Desde principios de julio de 1944 hasta el final de la guerra fue el BdS en los Países Bajos. También se dice que mató a 263 personas - incluido un soldado alemán - en represalia por una emboscada al general de las SS [Hanns Albin Rauter]], el 6 de marzo de 1945.