Po śmierci Władysława Łokietka pieczę nad warownią objął Kazimierz Wielki. Zamienił on zamek w niezdobytą przez ponad 250 lat królewską fortecę, znacznie go rozbudowując. Między innymi w tym czasie zostały podwyższone kamienne wieże. W Chęcinach rezydowała wówczas druga żona króla – Adelajda. W późniejszych latach zamieszkiwały tu także: siostra Kazimierza Wielkiego – Elżbieta Łokietkówna, żona Władysława Jagiełły – Zofia Holszańska, z synem Władysławem Warneńczykiem oraz żona Zygmunta Starego – Bona. Zamek przez długie lata używany był w charakterze więzienia stanu. Osadzono tu m.in. Andrzeja Wingolda (oskarżonego o podburzanie Rusi przyrodniego brata Władysława Jagiełły), Warcisława z Gotartowic oraz znaczniejszych jeńców schwytanych po grunwaldzkiej wiktorii, między innymi Michała Küchmeistra – późniejszego wielkiego mistrza zakonu krzyżackiego.