Provinz Suruga
im Jahre 10 Tenbun 1542, als er 48 Jahre alt wurde, hat er sich nach Surugawa (Provinz Suruga) zu den Imagawa (Klan) (einem Vasallenklan der Takeda zu dieser Zeit) in einen Tempel zurückgezogen und fortan ein Mönchsleben geführt, unter dem offiziellen Vorwand, von Kyoto aus verbannt worden zu sein. Allerdings gehen die meisten Historiker davon aus, dass sein heißblütiger Sohn, den er enterben wollte, ihn verbannt hat und die Macht einfach übernommen hat.