Tot i la seva especial relació amb Hitler, la posició de Streicher després de 1938 va començar a deteriorar-se. Se'l va acusar d'apropiar-se personalment de béns de jueus després de la Nit dels vidres trencats del novembre de 1938, així com de divulgar notícies falses sobre Göring (com que la filla d'aquest, Edda, havia sigut concebuda per inseminació artificial). També li ocasionà greus conseqüències un comportament personal pel d'excessos, com l'adulteri no dissimulat, i diversos atacs verbals furiosos contra altres "Gauleiters". El febrer de 1940 va ser desposseït de les oficines del partit, i es va retirar de la vida pública, tot i que se li va permetre continuar amb la publicació de "Der Stürmer". Tot i així, mantingué una bona relació amb Hitler.