渡邊家は宝永7年(1710年)から明治の廃藩置県まで代々吉津の番所の役人を務めた家系で、北吉津町の番所跡には現在渡邊神社が鎮座する。