Après le déclenchement de la Seconde Guerre mondiale, Diehm est de la fin septembre 1939 au début de janvier 1942, officier de police en chef à Gdynia, puis à Sarrebruck / Metz. Le , Diehm est transféré au poste de chef supérieur des SS et de la police, remplaçant Hans-Adolf Prützmann. Il opère du  à la fin février 1944 en tant que "Höhere SS- und Polizeiführer" à Shitomir. De la fin d'août 1944 à septembre 1944, Diehm fut brièvement commandant de la Waffen-Grenadier-Division de la SS. En novembre 1944, Diehm est transféré à un hôpital militaire à Berlin après avoir été blessé au combat. À partir de janvier 1945, il est inspecteur de la section Sud-Ouest du Volkssturm et membre du personnel supérieur de cette organisation paramilitaire. En avril / mai 1945, il est chef de la SS et de la police à Salzbourg. Il participe à la bataille de Vienne en commandant des troupes dans la armée jusqu'à sa capture le par les soviétiques.