Niektorí bádatelia usudzujú, že na mieste dnešného zámku stála stredoveká tvrdza. Mala vzniknúť na strategicky výhodnom mieste: na skale z južnej strany chránenej močiarmi, ktoré vytvára riečka Rokytná. Proti tomu stojí názor, že tvrdza nie je nijako písomne doložená, že pre jej zriadenie nebol dôvod (majitelia Jaroměřic v Jaroměřiciach sídlo nemali), a teda že tvrdza možno vznikla až na konci stredoveku – po roku 1498 – predtým, než začala jej renesančná prestavba.