เกือบทั้งหมดของพระราชวังนี้ถูกทำลายลงจากการทิ้งระเบิดที่เดรสเดินในสงครามโลกครั้งที่สอง ระหว่าง 13–15 กุมภาพันธ์ ค.ศ. 1945 อย่างไรก็ตาม งานจิตรกรรมและงานเขียนจำนวนมากถูกนำออกไปเก็บรักษาไว้ก่อนแล้ว ภายหลังสงครามโลกครั้งที่สองสิ้นสุด พระราชวังแห่งนี้ก็ถูกบูรณะขึ้นจากการสนับสนุนงบประมาณโดยสหภาพโซเวียต การบูรณะแล้วเสร็จในปี 1963 ซึ่งได้ทำให้ซวิงเงอร์เกือบทั้งหมดกลับมามีสภาพเหมือนดังครั้งก่อนสงคราม