北岸の「矢来場」という地点には、河野越智氏の建立による天文17年(1548年)銘の六地蔵幢(石塔)があり、河野氏系越智水軍の支城であったと考えられている。