巡抚，平定眉州人刘烈叛乱。因功晋升爲右都御史。因得罪朝廷权贵致仕。
嘉靖年间.明世宗即位后，起用为工部尚书，改刑部尚书。在任期间屡次印疾请辞，世宗均不予批准。在刑部尚书期间，斩杀大量武宗时期权贵奸党。加太子太保。大礼议中，他与杨廷和一同反对世宗立生父为皇考。次年，以病致仕。嘉靖六年（1527年）四月初六，夜二鼓卒于家。享年七十六。入祀莆田乡贤祠。。《明伦大典》修成后，追论其罪，被削官。林俊为历仕四朝，抗辞敢谏，最终因大礼议而去职，始终坚持为臣之大节。庆隆初年，恢复官职，赠少保，