置之死地，被杨一清抑阻。张璁大怒，上疏诋毁杨一清，杨一清于是上疏乞归，世宗从中调解。杨一清又因灾变，请求戒饬百官和衷，再次请求宽恕大礼议诸臣罪。待桂萼入内阁，矛盾愈发激化。给事中王准、陆粲检举揭发张璁、桂萼招权纳贿之事，世宗随即罢免两人，公佈其罪。其党羽霍韬称：两人离去势必牵连到我。于是上疏攻击杨一清，称其接受张永、萧敬贿赂。杨一清再次上疏辩解并请求罢免。世宗虽然挽留，但张璁再次召还，霍韬再次攻击，并称言法司都是秉承杨一清的意思，而无限桂萼的罪过。世宗至此大怒，令法司会同廷臣商议，贬刑部尚书周伦任南京刑部尚