Trong trận hỏa hoạn năm 1595, phần phía đông bắc của lâu đài đã bị thiêu rụi. Mặc dù Vua Sigismund III Vasa đã nỗ lực cho tu sửa lại phần kiến trúc bị phá hủy đó, chỉ có Cầu thang Senator và lò sưởi trong Phòng Bird vẫn còn cho đến ngày nay. Năm 1609, Vua Sigismund dời đô đến Vác-sa-va, Wawel bước vào thời kỳ khó khăn. Cả lâu đài và các tòa nhà khác đều bị bỏ rơi bất chấp sự lo lắng của các thống đốc địa phương. Những cuộc xâm lược của Thụy Điển vào năm 1655-1657 và 1702 lại càng làm cho lâu đài này xuống cấp.