文革前.1954年起任国务院副总理兼首任国防部部长。1955年被授予中华人民共和国元帅军衔，在十大元帅中排名第二，仅次于朱德。1956年，彭主张建立专业化的军队，将主官的指挥权定在政委之上。中共中央军委主席毛泽东对此反对，但是此时他的焦点放在刘伯承和罗荣桓两人身上。彭最终在毛的支持下击倒了刘伯承，但也使得军队中对他产生了怨气。而到了1958年毛也说服了彭确立主官政委并立的制度。由于在战略预备队等问题上和粟裕累积起来的意见不和，彭德怀对粟裕每周向军委主席毛泽东汇报一次都不满，粟在报告写上“彭副主席转报毛