隆兼率领的尼子军5千人攻撃，不过以当时仍是稀少的火绳铳等手法迎击，成功将其撃退。翌年（1562年），在元就攻灭石见国的有力国人本城常光一族时，以毛利家臣的身份，与上山元忠等人一同接收常光的居城。在石见国所领得到安定的收入后，天正2年（1574年），把家督让予嫡男经家并隐居。天正9年（1581年），在儿子经家在坚守的鸟取城中，向织田军的羽柴秀吉降伏并自杀后，收到经家的遗言状。在儿子经家死后，接收年幼的孙儿并养育。隐居年份的天正2年（1574年）多数被误解为死去年份，不过在天正9年（1581年），经家的