二届区议会选举失利而辞去主席职务，由马力接任党主席，他改为出任会务顾问，但他仍然保留行政会议非官守议员的议席直至其出任立法会主席。2004年香港立法会选举，九龙西选区以曾钰成为首的名单得票最多。在该次选举中，曾钰成的民建联团队（曾钰成、钟港武、李慧琼）得到了61,770票（27.13%）。曾钰成曾在接受访问时，一度宣佈2008年不再寻求连任，引来政界一度对他是否加入政府出任局长作猜测。2007年续任行政会议成员，2008年香港立法会选举，最终继续参加选举，改由香港岛选区出选，取得60,416