しかし、頼長は酷薄で融通をつける事を知らず、祇園社神人と騒動を起こした平氏に厳重な処罰を主張する等周囲から反発を買い、時の近衛天皇にも嫌われていた.
時の