Během husitských válek hrad patřil Zručským z Chřenovic, kteří patřili k rodu Kolovratů. Posledním příslušníkem rodu ve Zruči byl Zdeněk z Kolovrat, který hrad v roce 1547 prodal Jindřichu Střelovi z Rokyc a přestěhoval se do Dalkovic. O rok později se majitelem stal Jan Černčický z Kácova a od roku 1553 Jiří z Kalenic. Jeho syn Adam z Kalenic hrad roku 1560 prodal Janovi Staršímu z Kalenic. Někdy v té době byl starý hrad renesančně přestavěn. Kalenicům zámek patřil až do stavovského povstání, po kterém byl Bavoru z Kalenic zabaven a v roce 1623 jej koupil Arnolt Perglas z Losentic.