忌惮林聪风裁，其所言未有不敢遵从的。内阁及诸御史亦并以林聪好论建，并非善臣。同年冬，林聪甥陈和为教官，欲得近地便养，林聪对吏部官吏陈说此事。御史黄溥等遂劾林聪挟制吏部，加之此前得罪的众多官运均弹劾，后下廷讯，坐专擅选法，论斩。因高谷、胡濙力救得免，贬为国子监学正。英宗发动夺门之变后，拜其为左佥都御史，巡抚山东，赈灾饥荒，使得饥民得活者多达一百四十五万人。后进升右副都御史，逮捕江淮盐盗，平定并惩治当地贪官。后母丁忧，起复，再辞，不予批准。天顺四年，曹石之变爆发，将士妄杀，至割乞儿首报功。林聪署都察院事，令