于沙田区议会锦涛选区中以1,885票败于对手民主党的何淑萍（当时她得到2,163票），首次失去沙田区议会议席。于2004年香港立法会选举以95,434票第三度成功连任之余，带领李国英进入立法会。2005年6月起，获选为民建联副主席。他并没有参与2007年香港区议会选举，但是在他的协助下，民建联的新人杨文锐以350票之差击败争取连任的何淑萍。2008年香港立法会选举中于新界东选区以超过10万票连任，为当届选举的「票王」。2008年10月14日，曾钰成因就任立法会主席而辞去行政会议成员一职，而该职位其后由刘江华