而最初筑城的是濑名姬祖先今川贞相或饭尾乘连。应仁之乱时尾张守护斯波家与骏河守护今川家前后两家为了远江守护职争夺此地，支配该地的大河内贞纲被今川家以金掘众挖断城内水井而落城。不久由今川氏亲部下，饭尾乘连获赐一万石并控制此地。1514年（永正11年），饭尾乘连及父亲饭尾贤连城主。1560年乘连参与桶狭间之战，结果因为今川义元的死亡，导致今川家大幅衰退，该时期左右由乘连儿子连龙继任城主。今川家衰退后，饭尾连龙不再服从今川家，其妻奥田鹤之方（椿姬）毒杀井伊直平，获得德川家的支持，1565年（永禄8年）曳马城