曾居住过基隆、高雄、台南等地，其父后回到彰化银行工作，全家也因此搬回彰化和美。
公职经历.1973年，服兵役退伍后，在中兴新村担任省政府主计处的约聘研究员，同年年底，特种考试台湾省地方行政人员乙等考试统计人员类科及格后，成为台湾省政府正式科员。1981年，林洋港由台湾省政府主席调任内政部长，叶世文随林洋港至内政部任职机要，负责联络国会。1984年，吴伯雄担任内政部长，继续任用叶世文为机要。吴伯雄在内政部长任内，陆续成立了玉山、阳明山、太鲁阁与垦丁四大国家公园，在吴伯雄安排下