4年12月，杨洁篪任满回国，再次出任外交部副部长。2005年5月，任外交部副部长、党委副书记。外界认为他是下一任外长的有力竞争者，但是有媒体爆出其健康状况不佳的消息。报道称杨洁篪心脏不好，曾经做过搭桥手术。2006年，杨洁篪获得南京大学历史学系世界史专业博士学位。2007年4月，第十届全国人大常委会第27次会议决定，根据温家宝总理提名，杨洁篪接替已到退休年龄的李肇星任外交部长，2008年3月获得连任。2021年2月20日，卡塔尔埃米尔塔米姆·本·哈迈德·阿勒萨尼在多哈会见中共中央政治局委员、中央外事工作