罢免，世宗再次想念梁材，加上大臣亦多举荐，于是恢复官职，加太子少保。同年秋，考察京官，特命其进行监督。刑部有大案不能决定的，命其兼掌管刑部事。世宗称：“我若能得十二个像梁材这样的尚书，我就天下无忧了啊。”当时大型工程频繁，内外轮班劳役的士兵有四万六千人。郭勋对那些不到者进行除籍，并责令输银雇役。李廷相则适量给予，梁材却坚持不给。郭勋遂弹劾梁材，世宗亦命其给予补给。郭勋又称军队人数不足，逃亡的士兵布棉折饷银进行募工。梁材则反对，两人相继冲突至深，世宗遂对其不满，令落职闲住。之后归乡，很快去世，享年七十一岁。