Au début du XVIIe siècle, après un terrible incendie de 1595, le roi Zygmunt III Vasa transféra sa demeure à Varsovie et avec elle - la capitale de Pologne. La cour le suivit, et le château royal commença à tomber en ruine malgré les préoccupations des gouverneurs locaux. Les invasions suédoises et les pillages qui les accompagnaient portèrent un coup définitif à sa période de grand éclat.