国防部长李杰而遭放冷冻降调。2007年，原陆军六军团指挥官程士瑜中将涉及公私帐目不清，被军事检察官收押，吴斯怀接任其职位。前立委帅化民认为吴是李天羽的人马，人事安排让人联想到李杰与李天羽的派系斗争。吴同年主持国庆阅兵「同庆操演」。2009年任国防部参谋本部联准室主任。2010年1月16日，调任陆军副司令，但因届龄无缘晋升二级上将，副司令还没当满一年就在同年12月27日退伍。
担任中华民国红十字会秘书长.退伍后，担任中华民国红十字会秘书长。此外，担任陆军官校校友总会副会长，多次