2年再接替伍世文出任国防部长，并于2004年中华民国总统选举内阁总辞时一同下台，下台前有意争取出任国安会秘书长并曾举荐高华柱接任陆军总司令、费鸿波接任海军总司令、冯世宽接任空军总司令等人事规划，但都遭全盘推翻，其国防部长空缺则由海军出身的时任参谋总长李杰上将接任。