当・僧纲等，不同意寺院的再建。但是，1月14日（1181年2月6日），亲平氏政权的高仓上皇驾崩，2月4日（1181年3月20日），清盛自身也因谜样的高热接连死去。人们开始谣传这是对南都烧讨的佛罚。此外，东国的源赖朝不稳的情报也传入京都，所以清盛的继任者平宗盛在3月1日，撤回对东大寺・兴福寺以下南都诸寺的全部处分。