Syn Karla IV., Václav IV. taktéž zasáhl do podoby paláce například dostavbou severního kolmého křídla – zde se nachází tvz. sloupová síň, která je poslední dokončenou místností v paláci před husitskými válkami. S obnovou paláce po husitských válkách je spojen na základě písemných pramenů Zikmund Lucemburský a král Vladislav II. Jagellonský dal palác výrazně přestavět.