1164年，其次子受到特赦，回到京都（平清盛执政后，师长成为太政大臣）。然而1177年（安元3年）先后发生延历寺强诉事件、安元大火和鹿谷阴谋事件，朝廷认为是赞岐院（崇德上皇）和藤原赖长的怨灵作祟，因此在8月3日谥赞岐院为崇德天皇，同时追赠藤原赖长正一位太政大臣的官位。