十月上疏反对，其中称“按廷议谓陛下宜以孝宗为父，兴献王为叔，别择崇仁王子为献王后，考之古礼则不合，质之圣贤之道则不通，揆之今日之事体则不顺”，力主孝宗称伯不称考，兴献称考不称叔，世宗继统不继嗣，与张璁（1475年-1569年）、桂萼（？-1531年）、方献夫（1485年-1544年）、席书（1461年-1527年）同调。世宗得疏后甚喜，然时“濮议”诸臣佔据朝廷，所论被认为是邪说误国。韬意不自释，遂于嘉靖二年（1523年）三月谢病归。嘉靖三年（1524年）明世宗商议尊亲生父母事，并两次下诏召回霍韬。霍韬借