今川氏
斯波氏と今川氏が抗争すると、吉良氏の家臣団の中で斯波氏に味方する大河内貞綱と今川氏に味方をする飯尾乗連（またはその父飯尾賢連）が争い、斯波氏が今川氏に敗れると吉良氏も浜松の支配権を失った。永正11年（1514年）、今川氏親から曳馬城を与えられた飯尾氏は正式に今川氏の家臣となった。乗連は今川氏に引き続き仕え、桶狭間の戦いにも参加した。桶狭間の戦いにおいて今川義元が戦死すると今川氏の衰退が始まるが、この時期に飯尾氏の当主も乗連から子の連竜へと移り変わる。