吴斯怀祖父是同盟会成员，父亲军校毕业。吴斯怀军职生涯期间曾任陆军副司令、参谋本部联准室主任、陆军六军团指挥官、陆军教准部指挥官、参谋本部作战及计画参谋次长、陆军澎防部司令、陆军总部战训署长、师长。1974年，毕业于陆军军官学校43期步兵科，同学有李翔宙、陆小荣、陈再福、陈良濬、陈起翔、贺湘台、李清国、王春江、颜至成、程士瑜、张戡平、李玉文等人。2003年，升陆军中将。2005年，任陆军教准部司令。据《时报週刊》报导，这是因得罪国防部长李杰而遭放冷冻降调。2007年，原陆军六军团指挥官程士瑜中将涉