その後は瀬戸内海の戸島に隠棲したが、旧臣であり、一条氏の縁者の入江左近に暗殺されかけ重傷を負うなどの苦難にあった様子がアレッサンドロ・ヴァリニャーノの書簡などから伺える。
此后隐居在濑户内海的户岛，不过遭到被旧臣暗杀等苦难（被家臣入江左近暗杀，此时身负重伤），在范礼安的书简中有记述。