聂能迁大怒，嘱咐被罢免闲住的主事翁洪上奏，诬陷王守仁能被召用是因为贿赂席书，其中词语牵连至黄绾与张璁。黄绾抗辩，并乞求引避。世宗优旨留用，而罢免聂能迁入三法司、并贬至戍所，翁洪被贬为民。随后张璁与黄绾深为相交，张璁欲升用其为吏部侍郎，且令典试南京，却被杨一清抑制，并称其是南方口音，不能参与经筵。此后黄绾上疏斥责杨一清，世宗也因此指责杨。同年十月，黄绾出任南京礼部右侍郎。嘉靖十二年，拜为礼部左侍郎。最初，黄绾与张璁关系密切，至此夏言进入礼部后，世宗重用夏言，黄绾于是改为依附他，而与张璁相左。其担任南京礼部