。当时郭勋修建两宫、七陵，劳役京军七万，遂请求给予月粮冬衣，梁材反对，因此招致郭勋弹劾，两人相争数次。给事中周珫亦弹劾梁材，奏折下吏部，尚书许赞等请请求留用。世宗不悦，令两人对奏，梁材引罪得宥，而许赞连坐夺俸。六年后考满命致仕。次年，新任的户部尚书李廷相被罢免，世宗再次想念梁材，加上大臣亦多举荐，于是恢复官职，加太子少保。同年秋，考察京官，特命其进行监督。刑部有大案不能决定的，命其兼掌管刑部事。世宗称：“我若能得十二个像梁材这样的尚书，我就天下无忧了啊。”当时大型工程频繁，内外轮班劳役的士兵有四万六千人