内战爆发后，冀鲁豫军区部队于1945年10月重组为晋冀鲁豫军区第一纵队，辖有3个旅。因当时纵队司令员为杨得志，政治委员为苏振华，故该纵队亦被称作“杨苏纵队”。纵队成立后即参与了平汉战役，然后被划归冀热辽军区，随即转战热河省。1946年12月，重被划归晋冀鲁豫军区。1947年3月，与同一军区第七纵队合编为新的第二野战军第一纵队，辖有4个旅，司令员改为杨勇。在参与豫北战役和鲁西南战役后，于1947年8月随本军区的中国人民解放军晋冀鲁豫野战军（亦称刘邓大军）“挺进大别山”，后又参与了宛西、确山、豫东、郑州等战