后张璁与黄绾深为相交，张璁欲升用其为吏部侍郎，且令典试南京，却被杨一清抑制，并称其是南方口音，不能参与经筵。此后黄绾上疏斥责杨一清，世宗也因此指责杨。同年十月，黄绾出任南京礼部右侍郎。嘉靖十二年，拜为礼部左侍郎。最初，黄绾与张璁关系密切，至此夏言进入礼部后，世宗重用夏言，黄绾于是改为依附他，而与张璁相左。其担任南京礼部侍郎时，礼部郎中邹守益生病辞职，世宗命他复查。但是黄绾久不上报，而邹守益竟然离去。吏部尚书汪鋐按照张璁旨意去举发此事，世宗下诏夺取邹守益职位，并命汪鋐复查，汪鋐遂弹劾黄绾欺瞒。恰逢礼部用人