Este hecho probablemente fue causado por un escándalo involucrándolo con Fujiwara no Takaiko y una dama consorte imperial.