しかし、日向国の伊東氏と通じた上、夫婦仲が悪かったことで御南や高城に正室と離縁させられ、日向に追放された。
不过因为与日向国的伊东氏（日语：伊东氏）暗通，而且夫妇关系恶劣，被御南和高城令与正室离婚，并被流放到日向。