În timpul incendiului din anul 1595, partea de nord-est a castelului a ars. Regele Sigismund al III-lea Vasa a reconstruit-o, în ciuda eforturilor sale doar Scările Senatorilor și șemineu din Cameră Păsărilor au rămas până astăzi. În 1609 regele Sigismund a mutat capitala la Varșovia, și s-au început vremuri grele pentru Wawel. Atât castelul și alte clădiri au fost neglijate, în ciuda preocupărilor guvernatorilor locali. Invaziile suedeze din 1655-1657 și 1702 au contribuit la deteriorarea în continuare a castelului.