病两年，1934年渐癒后即赴安阳主持西北冈的发掘工作，直至抗日战争爆发始随史语所迁往四川。1954年4月2日，长期带病坚持工作的他心脏病发作在北京逝世，终年50岁。遗体于5日下午在东郊人民公墓火葬场举行火葬，后被安葬于北京八宝山革命公墓。一年之后，嫂子林徽因病逝，也被梁家人安葬在相隔仅几米的另一处墓地。他在殷墟第四次发掘过程中，确认柱础石、窖穴等考古遗迹，复原建筑遗址，确认了仰韶文化、龙山文化和商代文化的叠压关系，成为中国考古学的典范。1948年与其兄长梁思成（建筑学家）同时获选为第一届中央研究院院士。