天文12年(1543年)に火縄銃が種子島に伝来した際にも、漂着船の乗組員は慈遠寺の宿坊に滞在した。