前往，在任期间减免百姓税费。福建巡抚游震得请浙兵剿平倭寇，世宗下诏发义乌精兵一万，命副总兵戚继光率领前往，仍谕赵炳然协剿。同年，戚继光平乱，余寇流入浙江。官军迎战于连屿、陡桥、石坪，斩首百余级。新倭复犯石坪，将士乘胜歼掉。赵炳然以援剿功，再赐金币，进右都御史兼兵部右侍郎。给事中辛自修弹劾罢免戎政都御史李鐩，请择素知兵者取代。于是召赵炳然为兵部尚书，协理戎政。踰年，诏兼右都御史，总督宣、大、山西军务。新平、平远、保平三堡密迩宣府，旧属大同。天城相去六十里，孤悬塞外，隔崇山，寇骑时常出没。赵炳然奏添设参将，