去势必牵连到我。于是上疏攻击杨一清，称其接受张永、萧敬贿赂。杨一清再次上疏辩解并请求罢免。世宗虽然挽留，但张璁再次召还，霍韬再次攻击，并称言法司都是秉承杨一清的意思，而无限桂萼的罪过。世宗至此大怒，令法司会同廷臣商议，贬刑部尚书周伦任南京刑部尚书，以侍郎许赞代任。许赞于是以霍韬的话，请求削籍杨一清。张璁又三上密疏，称杨一清假意乞求辞退，而实质是以坚定世宗的想法。于是世宗果然允许杨一清致仕，驰驿归，仍赐金币。次年，张璁等诬陷朱继宗等入狱，并连坐杨一清接受张永之弟张容的钱财，为张永写墓志铭等。杨一清大恨道：“老