因为年龄到限，2007年4月27日，李肇星被全国人大常委会免去了外长职务。但维基解密声称，李肇星下台是由于胡锦涛在2006年访美时未获国宴款待、致词时遭法轮功抗议以及司仪将“中华人民共和国国歌”念成“中华民国国歌”等失误所致。2008年3月，在第十一届全国人民代表大会第一次会议上，他当选为第十一届全国人大会常委会委员、全国人大外事委员会主任委员。
评价.由于李肇星常于记者招待会时引用古人的诗句或自己作诗，他被部分大陆媒体称为“诗人部长”或“诗人外交家”。但由于在台湾问题上的立场强硬