第二次国共内战，冯世宽举家随中华民国国民政府播迁来台，他小时家境清苦，住台北市万华南机场眷村，在街头卖过豆腐。毕业于空军幼年学校9期、空军官校48期、美国南加州大学飞安班、三军大学空军学院1981年班、战争学院1987年班。军中绰号「冯班长」，由于热衷佛教、道教、中国民间信仰，尤其笃信释迦牟尼佛、济公活佛、关圣帝君等，因而担任庙宇主委，积极参与信仰活动，信众都尊称他为「冯大师兄」，冯世宽相当博学，自视甚高，年轻时个性强硬，透过参研佛学，而逐渐柔和。入主国防部后在国会公开坦言，自己年轻时当军人报效国家，老的