Imagawa clan
その後、遠江の支配権を巡る今川氏と斯波氏の争いが激化して、浜松荘の吉良氏家臣団も今川氏と結ぶ飯尾氏と斯波氏と結ぶ大河内氏が激しく争うが、三河の主家・吉良氏は自分たちと同じ足利氏一門である今川氏と斯波氏の争いから距離を置こうとしていたとみられている。しかし、永正14年（1517年）に今川氏親が斯波義達を捕らえて大河内貞綱を滅ぼして遠江全域を支配すると、今川氏に非協力的とみなされた吉良氏は浜松荘から追われてしまう。氏親の支援で曳馬城に入っていた賢連も吉良氏を見限って今川氏から浜松荘の安堵を受けて、以降は今川氏に仕えることになった。