Pierwsze umocnienia w miejscu późniejszego zamku stanęły za panowania Bolesława Krzywoustego. Zostały przypuszczalnie zniszczone podczas najazdu tatarskiego w 1241 r. W miejscu drewnianego grodu murowany zamek zbudował król Kazimierz Wielki, który następnie przekazał go w dzierżawę (jako dożywotnią tenutę) marszałkowi Królestwa Polskiego Przedborowi z Brzezia. Z dokumentów wynika, że Przedbór przeznaczył na wzmocnienie fortyfikacji znaczną sumę pieniędzy. W 1387 roku Władysław Jagiełło nadał zamek Włodkowi z Charbinowic, cześnikowi krakowskiemu, ale jednocześnie zapisał Przedborowi kwotę 300 grzywien groszy polskich na zamku i mieście Dobczyce z przynależnościami, jako rekompensatę wydatków poniesionych wcześniej podczas dzierżawienia zamku. Wtedy to obiekt, wraz z Włodowicami, Koczurowem i fortalicją w Wiesiółce stał się własnością rodu Włodków herbu Sulima (Sulimczyków), którzy władali nim prawie 100 lat.