斯波家与骏河守护今川家前后两家为了远江守护职争夺此地，支配该地的大河内贞纲被今川家以金掘众挖断城内水井而落城。不久由今川氏亲部下，饭尾乘连获赐一万石并控制此地。1514年（永正11年），饭尾乘连及父亲饭尾贤连城主。1560年乘连参与桶狭间之战，结果因为今川义元的死亡，导致今川家大幅衰退，该时期左右由乘连儿子连龙继任城主。今川家衰退后，饭尾连龙不再服从今川家，其妻奥田鹤之方（椿姬）毒杀井伊直平，获得德川家的支持，1565年（永禄8年）曳马城遭到今川家进攻，死伤惨重，尚未被攻陷。饭尾连龙接获今川家和议通告。