Omdat hij een van de meest invloedrijke mensen in het leger was, beraamden Hermann Göring en Heinrich Himmler, beiden beducht hun macht te verliezen, een complot om Von Blomberg onschadelijk te maken. De gelegenheid deed zich voor in 1938, toen Von Blomberg in het huwelijk ging treden met een 34 jaar jongere typiste, genaamd Erna Gruhn (ook wel "Eva" of "Margareta"). Een politieagent ontdekte voor het sluiten van het huwelijk dat Gruhn ooit naakt geposeerd had. Hij rapporteerde dat onmiddellijk aan de Gestapo en aan Hermann Göring. Göring informeerde Hitler, alhoewel beide mannen als getuige optraden op het huwelijk. Hitler beval Von Blomberg het huwelijk te annuleren, wat die weigerde. In januari 1938 nam hij ontslag, nadat Göring dreigde om het verleden van zijn vrouw openbaar te maken. Hitler kwam dit niet slecht uit; een paar maanden eerder had Von Blomberg zich al kritisch uitgelaten over de naar zijn zin te vroeg geplande aanvalsplannen van Hitler op de conferentie van Hossbach.Zowel Von Blomberg als zijn vrouw werden een jaar verbannen naar het Italiaanse eiland Capri. De rest van de Tweede Wereldoorlog speelde hij geen belangrijke rol meer. In 1945 werd hij gevangengenomen door de geallieerden, waarna hij getuige was op de Processen van Neurenberg. In 1946 overleed hij in gevangenschap.