杰回任海军，并先后担任海军124舰队舰队长、反潜部指挥官、总司令部副参谋长、参谋长、舰令部司令、副总司令及国防部参谋本部副参谋总长等重要队职主官，并于1997年12月16日晋任海军二级上将。1999年2月1日李杰接任中华民国海军总司令，任内致力于中华民国海军第二代军舰成军。因表现称职，2002年2月1日晋陞海军一级上将并接任中华民国参谋总长。2004年5月20日李杰接任中华民国国防部部长，并同时获得中华民国国军的次高荣誉——青天白日勋章。2005年3月1日，李杰废除国军晚点名，禁唱《我爱中华》。