1954年6月，叶剑英任中央人民政府人民革命军事委员会副主席；9月，当选中华人民共和国国防委员会副主席，并担任中国人民解放军武装力量监察部部长。1955年4月，任训练总监部代部长，主持全军的军事训练工作。他强调从实战需要出发，进行现代条件下的军事训练，把解放军建设成优良的正规化、现代化军队。9月27日，被授予中华人民共和国元帅军衔，获一级八一勋章、一级独立自由勋章、一级解放勋章。11月，组织并主持了辽东半岛方面军抗登陆战役中集团军海岸防御的军事演习。1956年6月，他主持召开全军院校会议，强调办好院校对部队现代化建设的重大意义。9月，出席中国共产党第八次全国代表大会，再次被选为中央委员。1956年12月，叶剑英率中国军事代表团访问缅甸。之后，他还率军事代表团访问了苏联、印度、波兰等国家。