一方で、新興の院近臣勢力に対しては警戒感を示し、藤原顕季の邸宅を身分不相応だとして破壊したという話が伝わっている。