黄绾回朝后，上疏文武将吏功罪，并极力诋毁刘源清、郄永。黄绾因此增俸一等，张璁和兵部因庇护刘源清，而在私下诋毁黄绾。黄绾连续上奏，世宗于是坚持逮捕刘源清、郄永。随后黄绾因母丧丁忧。嘉靖十八年，世宗派遣黄绾为礼部尚书兼翰林学士、担任正使，张治为副使，一同出使安南。黄绾在路上称病，不能前行。此后世宗改为派遣他人。随后黄绾因上奏为父母请赠，而使得世宗大怒，被夺去尚书，而改以礼部侍郎闲住，出使的事情竟停止。久之，黄绾死于家中。