Ab September 1939 gehörte er dem Verteidigungsausschuss des Wehrkreises IX an. Ab November 1940 war er auch Gauwohnungskommissar und ab November 1942 Reichsverteidigungskommissar im Gau Kurhessen. Kurz nach dem Luftangriff auf Kassel am 22. Oktober 1943, der die gesamte Innenstadt zerstörte, wurde Weinrich im November 1943 zunächst beurlaubt und 1944 seines Amtes als Gauleiter enthoben. Von der Führungsspitze der NSDAP, unter anderem von Joseph Goebbels, wurde ihm zur Last gelegt, bei der Kriegsvorbereitung Kassels und während der Bombardierung versagt zu haben. Sein Nachfolger wurde Karl Gerland. Aufgrund seiner „Verdienste“ um die Partei wurde Weinrich mit einem Bauernhof entschädigt und betätigte sich als Landwirt.