获赐一万石并控制此地。1514年（永正11年），饭尾乘连及父亲饭尾贤连城主。1560年乘连参与桶狭间之战，结果因为今川义元的死亡，导致今川家大幅衰退，该时期左右由乘连儿子连龙继任城主。今川家衰退后，饭尾连龙不再服从今川家，其妻奥田鹤之方（椿姬）毒杀井伊直平，获得德川家的支持，1565年（永禄8年）曳马城遭到今川家进攻，死伤惨重，尚未被攻陷。饭尾连龙接获今川家和议通告。连龙在前往骏府的中途遭今川氏真暗杀。连龙死后以妻子奥田鹤之方为中心守城（非城主）。1568年，德川家康派兵攻打曳马城，城内的内部分裂成德川