一方『今鏡』「すべらぎの中第二　八重の潮路」では、「憂き世のあまりにや、御病ひも年に添へて重らせ給ひければ」と寂しい生活の中で悲しさの余り、病気も年々重くなっていったとは記されているものの、自らを配流した者への怒りや恨みといった話はない。また配流先で崇徳院が実際に詠んだ「思ひやれ　都はるかに　おきつ波　立ちへだてたる　こころぼそさを」という歌を見ても、悲嘆の感情はうかがえても怨念を抱いていた様子はない。承久の乱で隠岐国に配流された後鳥羽上皇が、「われこそは　にゐじま守よ　隠岐の海の　あらきなみかぜ　心してふけ」と怒りに満ちた歌を残しているのとは対照的である。
怨霊伝説.
保元の乱が終結してしばらくの間は、崇徳院は罪人として扱われた。それは後白河天皇方の勝利を高らかに宣言した宣命にも表れている。崇徳院が讃岐国で崩御した際も、「太上皇無服仮乃儀（太上皇（崇徳上皇）、服仮（服喪）の儀なし）」と後白河院はその死を無視し、「付国司行彼葬礼、自公家無其沙汰（国司を付けてかの（崇徳上皇）の葬礼を行い、公家よりその沙汰なし）」とあるように国司によって葬礼が行われただけで、朝廷による措置はなかった。崇徳院を罪人とする朝廷の認識は、配流された藤原教長らが帰京を許され、藤原頼長の子の師長が後白河院の側近になっても変わることはなかった。当然、崇徳院の怨霊についても意識されることはなかった。
怨霊としての崇徳院のイメージは定着し、近世の文学作品である『雨月物語』（「白峯」）・『椿説弓張月』などにおいても怨霊として描かれ、現代においても様々な作品において菅原道真や平将門と並ぶ日本三大怨霊として怨霊や祟りのモチーフとして使われている。