4年，前滇缅边区游击队副总指挥柳元麟奉派至泰北地区，担任总指挥，段希文任副总指挥兼第五军军长并兼任干训团教育长。1956年，任西区指挥官。年代，中华民国政府放弃借泰北孤军反攻大陆的战略计画，对泰北孤军的支援逐步减少。1961年3月6日，受到联合国的压力，蒋介石再度下令泰北国军撤回台湾。段希文及其部属受命至勐撒机场，准备回台湾，但再度接到蒋中正密令，要求他留下，伺机反攻大陆。这样国军残部1、2、4军撤​​往台湾，段希文和他的第5军又留了下来。实际上，他的第5军也只有3000多人。之后与第3军组成指