必烈皇帝下令放火烧毁，但没有证据，尤其是杭州也有防火问题的历史，况且当时元朝已灭南宋达十一年。其遗址现是公园。杨琏真伽上书于朝，改垂拱殿为报国寺，改后殿为仙林寺，改福宁殿为尊胜寺，改芙蓉阁为兴元寺，改和宁门侧为若寺，从延佑年到至正年诸寺递毁。明朝洪武二十四年（公元1391年）重建报国寺，到万历年间大内尽圮地表建筑寺院无存，主要宫殿遗址都被埋在地下二三米左右。