Nobutora ønsket likevel å gi videre sitt domene til Nobushige, og i 1540 styrtet Harunobu faren og forviste ham til Suruga. Nobutora kom ikke tilbake til Kai før Shingens død i 1573, på invitasjon fra barnebarnet Katsuyori. På den tiden var Nobutora i 80-årene, selv om noen rapporterte at han selv som gammel mann klarte å skape frykt for folk rundt seg.