1954年9月、中華人民共和国憲法制定による政府機構の再編が行われ、最高国家行政機関として国務院が発足し、その構成部門として国防部が設置された。彭徳懐は国務院副総理兼国防部長に就任し、国防委員会副主席も兼任した。また、党中央軍事委員会委員に選出され、中央軍事委員会の日常業務の総責任者に指名された。彭徳懐は国防部長として軍政の権限を持つとともに、党中央軍事委員会の実務責任者として中国人民解放軍各総部の上に立って実際の指導を行い、軍令の権限をも掌握した。翌1955年には元帥に列せられ、朱徳に次ぐ序列第2位の軍人となった。彭徳懐は1954年12月から1958年7月まで4回にわたり招集された党中央軍事委員会拡大会議を主宰し、1956年9月の第8回党大会では中央軍事委員会を代表して軍事活動報告を行った。これらの会議で彭徳懐は、ソ連をモデルにした人民解放軍の精鋭化および近代化と国境付近での敵撃滅構想を唱えるが、旧来の毛沢東の持久戦論および遊撃戦論とは異なるものであった。1958年5月から7月にかけて開催された第4回党中央軍事委員会拡大会議では、彭徳懐は会議の主宰者の立場にあったが、実質的には毛沢東が議論をリードし、「ブルジョア軍事路線」やソ連追随の「教条主義」批判がなされた。また、軍の指導体制の改編が行われ、党中央軍事委員会が党中央の軍事工作部門として全軍を統一的に指導する統帥機関であること、中央軍事委員会主席（毛沢東）が全軍の統帥であることが確認され、中国人民解放軍各総部は中央軍事委員会に直接従属することが定められた。その結果、国防部長は三つある人民解放軍総部の責任者とほぼ同列となり、軍令の権限を失うことになった。
1950年6月25日に勃発した朝鮮戦争は9月15日には国連軍の仁川上陸作戦により北朝鮮の軍事的優位性が崩壊、国連軍は北進し10月15日には38度線を突破、ソ連と北朝鮮からの応援要請を受けて政治局拡大会議が開かれた。建国間もなしで国力も不充分な状態で参戦できるのかとの声に、彭徳懐は「解放戦争の勝利が数年伸びたつもりでやればよい。今参戦しないと、アメリカに鴨緑江と台湾に張り付かれ、いつでも我が国への侵略を開始するための口実を与えることになる。」と述べ、ここに中国の朝鮮戦争参戦が決まった。毛沢東は中国人民解放軍を「志願軍」として派遣する事を決定した。彭徳懐は体調不良を理由に出征を拒否した林彪に代わって「中国人民志願軍」（「抗美援朝義勇軍」）の司令官に就任、北朝鮮に入った。彭徳懐は中朝連合軍の副司令官に朝鮮労働党延安派の朴一禹を任命し、以後北朝鮮の金日成首相は中朝連合軍の脇役となった。中国人民志願軍は国連軍の優勢を覆して戦線は37度線付近まで南下、ソウルを再度占領した。しかし、ソ連からMiG-15など近代的な兵器は供与されたものの、主な装備は日本軍や国民党軍から鹵獲した旧型の兵器であり、人海戦術を執るには質量ともに不足していたため、体制を立て直した国連軍と膠着状態になり、彭徳懐は朝鮮戦争休戦協定に署名し、現在の軍事境界線のラインで停戦した。停戦後、彭徳懐は帰国する際に、北朝鮮から共和国英雄の称号を贈られている。
国共内戦時代には西北野戦軍（後に第一野戦軍）の司令官兼政治委員・中国人民解放軍副総司令を務めた。1947年に国民党軍が延安を攻略すると一時撤退し遊撃戦で個別の敵を撃破する戦略を採り、1948年4月に延安を奪回することに成功している。1949年には西北部の五省を攻略し、西北局第一書記・西北軍政委員会主席・西北軍区司令官を兼任した。中華人民共和国成立後は中央人民政府人民革命軍事委員会副主席となった。
1937年の第二次国共合作によって紅軍は八路軍に改組された。彭徳懐は国民政府から国民革命軍中将の階級を授与され、八路軍副総指揮官に任命された。彭徳懐は1940年8月の百団大戦を指揮し、八路軍は損害を被りながらも日本軍の補給網に損害を与えることに成功する。日中戦争末期の1945年6月19日、第7期1中全会において党中央政治局委員に選出される。同年8月23日、中央軍事委員会副主席・総参謀長に就任した。
ドイツ国総統アドルフ・ヒトラーが総統地下壕で自殺した翌日の1945年5月1日朝、ベルリン「Z」地区（官庁街）防衛司令官ヴィルヘルム・モーンケSS少将と「ノルトラント」師団長グスタフ・クルケンベルクSS少将が現在の状況と今後の作戦について電話連絡を取っている間、官庁街の図書館に陣取るアンリ・フネのフランスSS突撃大隊は久しぶりに戦闘の無い平穏な朝を迎えた。しかし、この日の午前中、第4中隊長代行セルジュ・プロトポポフ武装連隊付士官候補生が（図書館の中庭で敵迫撃砲の攻撃を受けて）死亡したとの知らせが大隊長フネに伝えられた。現場に駆けつけたフネはプロトポポフの遺体から軍隊手帳 (Soldbuch) を回収し、認識票 (Erkennungsmarke) の半分を折り取り、そして敬礼をした。祖父（ロシア帝国最後の内務大臣アレクサンドル・プロトポポフ）をボルシェヴィキ（共産主義者）によって殺害された、この「古きロシア最後の代表」セルジュ・プロトポポフは戦死するまでにベルリン市街戦で赤軍戦車5輌撃破・赤軍砲兵観測機1機撃墜という戦果を挙げていた（一級鉄十字章追贈）。「プリンス」プロトポポフの簡潔な葬儀を済ませた後、フネは戦闘に戻った。5月1日午後、フランスSS突撃大隊の状況は次第に悪化していた。武装親衛隊フランス人義勇兵たちが4月30日以来陣取っている大きな建物（図書館）は赤軍の砲撃によって壁が崩れ、各階の床板が道路側に垂れ下がった。赤軍の火炎放射班はこの床板を絶好の着火材として狙いを定め、建物への火炎放射攻撃を開始した。戦前はパリの消防士であったフランスSS突撃大隊本部通信手ジョルジュ・クーテュラン（Georges Couturin：階級不明）は陣頭で消火活動に臨んだが、一滴も消火用の水が無い上に赤軍からの銃撃が浴びせられている状況ではどうすることもできなかった。このままでは30分後（長くても1時間後）に建物の上階から地下に至るまで火の手が及ぶことを（すすで全身が黒くなっている状態の）クーテュランから伝えられた大隊長フネは、大隊全体が赤軍の火炎放射で焼却される前に後退命令を下した。