议”诸臣佔据朝廷，所论被认为是邪说误国。韬意不自释，遂于嘉靖二年（1523年）三月谢病归。嘉靖三年（1524年）明世宗商议尊亲生父母事，并两次下诏召回霍韬。霍韬借病辞退不任，但仍然上疏提出自己建议。世宗非常赞赏其忠义，催其回朝。第二年，提升为詹事府少詹事兼侍讲学士，霍韬坚决辞退，奏折也没有被採纳。嘉靖六年（1527年）再次回朝，世宗命其负责经筵讲官，霍韬则以自己是南方口音，极力推辞，并请求撰写《古今政要》和《诗书直解》进献。世宗得到嘉奖并答应。同年九月，升任詹事府詹事兼翰林院学士，霍韬坚决辞退，然而没有