希文经广西、广州抵达香港。50年代初期，香港虽然遍地是商机，可段希文是个带兵打仗的军人，对做生意一点也不感兴趣，在香港的生活可谓是百无聊赖。他在太平山下租了一户民居栖身，平日里深居简出，除了与滞留在香港的几个军队里的旧同事往来外，绝少与外人联系。后来邂逅李弥将军等人，均力邀其前往泰缅边境参加孤军。是年7月，段希文转往曼谷，加入国军残部，开始了异域的军旅生涯。先担任云南救国军第4军政区司令。韩战爆发，美国提供武器给在台湾的中华民国政府。经各种管道，泰缅游击队获得武器补给，声威大振，其部队控制缅甸北部地区。