冬季反攻，洛阳及虎牢失陷而滑台被围攻，到彦之见洛阳既失，黄河守军又败，且黄河已结冰，即有退意。时垣护之认当时青州丰饶，漕运畅通，兵力又足，建议派竺灵秀支援滑台，大军留在北方进兵河北，继续对魏施压。但到彦之其时眼疾发作，将士也有疫病，还是决定退返，率水军入济水后烧毁船舰，大军步行逃至彭城（今江苏徐州市）。此次北伐宋文帝供给大军的军需品相当充足，但到彦之撤还时将这些物资抛弃，遂令武库一时空虚。宋文帝此时改派檀道济率军支援滑台，将彦之免官下狱。次年复起用为护军将军。元嘉九年（432年），朝廷恢复其封邑，但彦之辞让