入中华民国海军参谋大学深造。他历任中建舰轮机官，1958年参与八二三砲战，负责炮战中的中华民国国军运补。因为战功，升任兵器处处长、人事署署长、舰队训练指挥部指挥官、海军官校校长、海军副总司令、海军总司令等重要队职主官。他于2000年接受中华民国总统陈水扁邀请，担任国防部部长并获颁中华民国军人最高荣誉青天白日勋章。他也是当时民进党政府中，少数具有国民党党籍的阁员之一。伍世文于2002年2月1日卸任国防部长，受聘为总统府资政。