De Praagse Lente duurde niet lang en na de inval van het Warschaupact werd de politieke situatie opnieuw ongunstig voor de katholieken in het toenmalige Tsjecho-Slowakije. Vlk viel in 1971 in ongenade bij de regerende Communistische Partij, die zijn invloed bij de parochianen als een gevaar zag. Hij werd eerst uit het bisdom České Budějovice verbannen naar afgelegen, dunbevolkte parochies en tenslotte werd hem zijn priesterlijke bevoegdheid ontnomen. Vanaf 1978 werkte hij jarenlang als glazenwasser in het centrum van Praag, terwijl hij in het geheim zijn pastorale taken uitvoerde.