文明3年(1471年)頃には室町亭(京都市上京区)に避難していた後土御門天皇との密通の噂が広まった。