渡辺津は、嵯峨源氏の源綱(渡辺綱)を祖とする渡辺氏をはじめとする武士団の生まれた場所でもあり、彼らの水軍の拠点として瀬戸内を束ねる場所でもあった。