每日夜都在期待翁万达抵达。因为迟赴的事，其询问严嵩。严嵩因为很早就不喜欢翁万达，于是他说敌寇现在就在肘腋处，诸位大臣仍然观望，这并非是君臣之义。于是世宗起用王邦瑞为兵部尚书。几天后，翁万达抵达，并具疏自明。世宗责怪其欺慢，念其守丧之事，姑且夺职别用。当时仇鸾为大将军，受到世宗宠信，从而在世宗面前诋毁翁万达。翁万达于是降为兵部右侍郎、兼右佥都御史，经略紫荆关等。嘉靖三十年（1551年）二月，自陈致仕。得到批准，因濒行疏谢中被摘出有不敬的字，被罢免为民。次年十月，兵部尚书赵锦因依附仇鸾而戍边，再次请求翁万达起用