高野山
同年8月，在豐臣秀次失勢後，被任命為秀次的軟禁和監視役，更負責護送秀次前往高野山，但是在到達高野山後，自身亦被當作是秀次謀反的同謀，突然被改易，被流放到薩摩國坊津，被島津義弘軟禁。