正德年间.明武宗即位后，言官交相举荐，朝廷内的江西人合疏乞求召还林俊。起为右副都御史，再抚江西，因父丧丁忧去官。正德四年（1509年）服阙，任四川巡抚，平定眉州人刘烈叛乱。因功晋升爲右都御史。因得罪朝廷权贵致仕。
嘉靖年间.明世宗即位后，起用为工部尚书，改刑部尚书。在任期间屡次印疾请辞，世宗均不予批准。在刑部尚书期间，斩杀大量武宗时期权贵奸党。加太子太保。大礼议中，他与杨廷和一同反对世宗立生父为皇考。次年，以病致仕。嘉靖六年（1527年）四月初六，夜二鼓卒于家。享年七十六。入祀莆