541年），尼子诠久撤退。信直成功守住三入高松城，佐东银山城内的牛尾幸清也同时撤退，八木城主香川光景率兵追击未果（吉田郡山城之战）。同年5月，奉元就之命，与宍户隆家、香川光景攻击旧主安艺武田氏。在包围佐东银山城后成功攻陷，安艺武田氏当主武田信实逃亡至出云。鎌仓时代以来的安艺武田氏灭亡。天文11年（1542年），大内义隆为讨伐尼子氏而出阵。途中，进入三入庄观音寺宿泊，之后向出云侵攻。但于赤穴城之战熊谷势陷入苦战，信直的弟弟直续阵亡，之后包围月山富田城，成功寝返吉川兴经，但由于月山富田城攻略失败，与香川