Tijdens de Tweede Wereldoorlog moesten de schilderijen in veiligheid gebracht worden. Het gebouw zelf raakte zwaar beschadigd tijdens deze oorlog. Door wateroverlast in 2002, werd er voor 20 miljoen euro schade toegebracht aan het gebouw.