锦衣卫佥事聂能迁，最初因依附钱宁得官，此后依附张璁、桂萼，当初书成后大量官员晋升，而唯独没有他。于是聂能迁大怒，嘱咐被罢免闲住的主事翁洪上奏，诬陷王守仁能被召用是因为贿赂席书，其中词语牵连至黄绾与张璁。黄绾抗辩，并乞求引避。世宗优旨留用，而罢免聂能迁入三法司、并贬至戍所，翁洪被贬为民。随后张璁与黄绾深为相交，张璁欲升用其为吏部侍郎，且令典试南京，却被杨一清抑制，并称其是南方口音，不能参与经筵。此后黄绾上疏斥责杨一清，世宗也因此指责杨。同年十月，黄绾出任南京礼部右侍郎。嘉靖十二年，拜为礼部左侍郎。最初，黄