因“内人党”问题被批斗，被攻击“搞独立王国”。1966年8月，被软禁于北京，并撤销党政军领导职务；后受到周恩来的保护，并改名王自力。1972年5月20日至31日，中共中央在北京举行工作会议，为召开十大作准备。会前，根据毛泽东的意见，会议宣布解放谭震林、李井泉、乌兰夫等13位老干部。此后，在1973年中共十大上，乌兰夫重新当选为中共中央委员，并于1975年1月，当选第四届全国人大常委会副委员长。
文革结束和改革开放之后.打倒四人帮之后，乌兰夫于1977年出任中共中央统战部部长，并在中