诋毁杨一清，此后杨一清请求致仕归乡，与焦山寺僧妙福禅师为友。武宗南巡时，曾经抵达杨一清府，与其乐饮两昼夜。杨一清借机劝阻，武宗于是取消江浙等地的巡游。
嘉靖年间.明世宗尚为世子时，与献王就曾经对其称，楚地有三杰，分别是刘大夏、李东阳及杨一清，世宗铭记于心。他即位后，廷臣纷纷交相举荐杨一清，于是世宗派遣官员赐金币存问，杨一清谢绝后，世宗特予一子官中书舍人。嘉靖三年十二月（1525年），世宗诏加杨一清少傅兼太子太傅，改任兵部尚书、左都御史，总制陕西三边军务。至此，以尚书身份担任边疆大臣