Himmler og Göring anklaget ham for homoseksuelle forbindelser, og dette munnet ut i Blomberg-Fritsch-affæren. von Fritsch var aldri blitt kjent som noen damejeger; han hadde aldri giftet seg og foretrakk å konsentrere seg om sin militære karriere. En konsekvens av saken ble at von Fritsch ble nødt til å trekke seg fra sin stilling den 4. februar 1938. Han ble etterfulgt av Walther von Brauchitsch, som han selv hadde foreslått. Han ble senere frikjent av en æresrett av offiserer under ledelse av Hermann Göring, og ble tilbakekalt rett før utbruddet av andre verdenskrig.