10月，谭政被林彪诬陷“反对毛泽东思想”、“在总政结成反党宗派集团”等罪名，并受到撤职、降职处分，改任总政治部副主任。在中共八届十中全会上，谭政的中共中央书记处书记的职务也被撤销。之后，国防部副部长一职也被撤销。1965年11月，被贬为福建省副省长，文化大革命期间被监禁受迫害。1975年7月，毛泽东在听取叶剑英、邓小平关于军委扩大会议情况的汇报时，突然询问谭政去向，谭随即被解除监禁。同年8月，出任中央军委顾问，此后考察边防海岛等。1978年，当选为第五届全国人民代表大会常务委员会委员、人大常委会法制委员