Under andre verdenskrig ble palasset brent ned av tyskerne. I samsvar med de tyske planene skulle palasset også sprenges i luften, og om lag tusen dynamitthull ble boret ut i palassmurene. Ved sin retrett rakk tyskerne imidlertid ikke å sette planen i live. Palasset ble gjenoppbygd under ledelse av arkitekten Jan Dądrowski i årene 1945–1965. Det rike palassindret ble rekonstruert etter krigsskadene. Palasset var til å begynne med en filial til Nasjonalmuseet, men ble senere i 1995 en selvstendig institusjon.