义，催其回朝。第二年，提升为詹事府少詹事兼侍讲学士，霍韬坚决辞退，奏折也没有被採纳。嘉靖六年（1527年）再次回朝，世宗命其负责经筵讲官，霍韬则以自己是南方口音，极力推辞，并请求撰写《古今政要》和《诗书直解》进献。世宗得到嘉奖并答应。同年九月，升任詹事府詹事兼翰林院学士，霍韬坚决辞退，然而没有得到明世宗批准。次年四月，晋升为礼部右侍郎，霍韬再次极力辞退，并举荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何瑭代替自己，世宗均不同意。再次推辞，才得以批准。同年六月，大礼议事件结束，世宗越级提升其为礼部尚书，主