中隐居，不过仍掌握实权。在茂尚死去后，令茂尚的弟弟义纯继承家督，不过义纯亦早死，于是令茂尚、义纯的弟弟昭景（后来的宗义智）继承当主，而自身则成为其后见人，仍握有政治实权。
丰臣家臣时期.天正15年（1587年），在丰臣秀吉开始九州征伐后，5月，复归家督之位，再次成为宗家的当主。与义智一同参加秀吉的九州征伐，于是成功保留对马的本领。此后，受秀吉之命，与李氏朝鲜交渉。此时，秀吉要朝鲜国王在1年内从属日本，否则对朝鲜出兵。因此，派遣家臣柚谷康广前往朝鲜交渉。在与朝鲜交涉中的天正16年