仕副使曹时中等人。在江西时期，多次抑制宁王朱宸濠贪暴。因母丧丁忧回乡。
正德年间.明武宗即位后，言官交相举荐，朝廷内的江西人合疏乞求召还林俊。起为右副都御史，再抚江西，因父丧丁忧去官。正德四年（1509年）服阙，任四川巡抚，平定眉州人刘烈叛乱。因功晋升爲右都御史。因得罪朝廷权贵致仕。
嘉靖年间.明世宗即位后，起用为工部尚书，改刑部尚书。在任期间屡次印疾请辞，世宗均不予批准。在刑部尚书期间，斩杀大量武宗时期权贵奸党。加太子太保。大礼议中，他与杨廷和一同反对世