慶長2年(1597年)6月13日に小早川隆景が死去すると小早川氏を辞去して屋代島(周防大島)へと移り住んだところ、輝元の招聘を受けて毛利氏に帰参した。