愤懑而死，死状犹如夜叉。崇德死后，乱世相仍不止，后世以崇德为日本三大怨灵（菅原道真、平将门、崇德天皇化身的大天狗）之一。
怨灵传说.保元之乱后，崇德上皇被当作罪人。在崇德上皇的死讯传到京都之后，后白河上皇不给他行国葬和国丧，「付国司行彼葬礼，自公家无其沙汰」（《皇代记》）。后来安元2年（1176年），建春门院、高松院、六条院、九条院相继死去，而这些都是与后白河法皇和藤原忠通亲近的人。次年，日本在一年之间发生了大量灾异和事件，如延历寺强诉、、鹿谷阴谋事件等。朝廷认为是赞岐院和藤原赖长