12月后，任中共中央副秘书长，国务院副总理等职。长期在中央和政府部门担任领导工作。尽管军功卓着，但由于较早转地方工作，没有授军衔。1956年，中共八大上，谭震林当选中共中央书记处书记。1958年中共八届五中全会上，被增选为政治局委员。大跃进时期，担任分管农业工作的中央书记处书记，表现活跃，对大跃进起到了推波助澜的作用，宣传推广了一些脱离实际的口号，“人有多大胆，地有多大产”就是其在《人民日报》文章中第一次引用的。晚年对此期间的错误坦诚内疚。文革中，谭震林受到冲击和迫害，与江青、陈伯达、林彪集团发生矛盾。