林院学士，霍韬坚决辞退，然而没有得到明世宗批准。次年四月，晋升为礼部右侍郎，霍韬再次极力辞退，并举荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何瑭代替自己，世宗均不同意。再次推辞，才得以批准。同年六月，大礼议事件结束，世宗越级提升其为礼部尚书，主管詹事府事务。霍韬再次推辞，并称这是违反祖训的。三次推辞后，世宗终于同意。推行禁佛政策，拆寺庙，绝僧尼，“南都，我皇祖所以肇基地，典礼宜天下先焉”。嘉靖十八年（1539年）累官至太子少保、礼部尚书。嘉靖十九年（1540年）十月卒于官，赠太子太保，谥文敏。