I 1950 måtte Svoboda gå av som forsvarminister og forlate hæren, etter press fra Josef Stalin. Han ble imidlertid i første omgang visestatsminister, men måtte allerede i 1951 forlate også denne stillingen. I utrenskningene som fulgte ble han fengslet, og «anbefalt» å begå selvmord for å bevare æren, men ble tilslutt løslatt, men fratatt alle posisjoner. Etter Stalins død og Nikita Khrusjtsjov maktovertakelse i Sovjetunionen, ble han tatt tilbake i det offentlig liv etter personlig anmodning av Khrusjtsjov som hadde møtt Svoboda under krigen. Svoboda ble da sjef for krigsskolen.