1954年6月19日，被任命为中央人民政府人民革命军事委员会副主席。10月31日，任训练总监部部长。1955年9月27日，刘伯承被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。1956年9月，出席中共八大，当选中共中央政治局委员。1957年9月，调任高等军事学院院长兼政委。1958年，军委召开军委扩大会议，刘被彭德怀等当作军事教条主义的代表受到批判，7月10日，带病的刘伯承被架着在中南海怀仁堂做了检查。之后，9月13日，刘从军事学院领导岗位离任，实际上被闲置起来。11月17日，被免去高等军事学院院长兼政委职务。1959年9月，刘伯承任中共中央军委战略小组组长。1962年中印战争中，刘伯承担任解放军参谋顾问。1966年1月8日，刘伯承被任命为中共中央军委副主席。