不过作为后继者而被召回，并被拥立为当主。在家中没有实权，所领只有得到保证，在天正8年（1580年），所领由高山移至萨摩国。作为大名的肝付氏灭亡，此后，肝付氏成为岛津氏家臣。庆长5年（1600年），在关原之战中，跟随岛津义弘参战，在关原敌中突破时战死。家督由嫡男兼幸继承。