丧之事，姑且夺职别用。当时仇鸾为大将军，受到世宗宠信，从而在世宗面前诋毁翁万达。翁万达于是降为兵部右侍郎、兼右佥都御史，经略紫荆关等。嘉靖三十年（1551年）二月，自陈致仕。得到批准，因濒行疏谢中被摘出有不敬的字，被罢免为民。次年十月，兵部尚书赵锦因依附仇鸾而戍边，再次请求翁万达起用代替。但诏书未抵达，他已经去世，享年五十五岁，追赠太子少保。翁万达为人孝顺。其亦喜好谈性命学，与欧阳德、罗洪先、唐顺之、王畿、魏良政为友。为人通古今、刚介坦直，勇于任事。并能够身先士卒、善于保护鼓励将士。隆庆年间，追谥襄毅。