黄绾出任南京礼部右侍郎。嘉靖十二年，拜为礼部左侍郎。最初，黄绾与张璁关系密切，至此夏言进入礼部后，世宗重用夏言，黄绾于是改为依附他，而与张璁相左。其担任南京礼部侍郎时，礼部郎中邹守益生病辞职，世宗命他复查。但是黄绾久不上报，而邹守益竟然离去。吏部尚书汪鋐按照张璁旨意去举发此事，世宗下诏夺取邹守益职位，并命汪鋐复查，汪鋐遂弹劾黄绾欺瞒。恰逢礼部用人，世宗留用黄绾。而汪鋐不息再次攻击他，黄绾上疏自辩且诋毁汪鋐为张璁鹰犬，并请求罢黜以避祸。世宗仍然念及黄绾在大礼议的功劳，而留用。黄绾于是与张璁的矛盾公开化了。