付国司行彼葬礼，自公家无其沙汰」（《皇代记》）。后来安元2年（1176年），建春门院、高松院、六条院、九条院相继死去，而这些都是与后白河法皇和藤原忠通亲近的人。次年，日本在一年之间发生了大量灾异和事件，如延历寺强诉、、鹿谷阴谋事件等。朝廷认为是赞岐院和藤原赖长的怨灵作祟，因此在8月3日谥赞岐院为崇德天皇，同时追赠藤原赖长正一位太政大臣的官位。寿永3年（1184年）4月15日，在保元之乱的古战场春日河原设立崇德院庙（后改为栗田宫）。明治天皇即位之际，遣使到赞岐，将崇德天皇之灵迎回京都并创建白峯神宫。