Algunos de los problemas que ha sufrido incluyen inundaciones debido a unas obras en el Támesis y los daños ocasionados por los bombardeos durante la Segunda Guerra Mundial, aunque la mayor parte de la colección estaba a salvo en algún lugar, y un gran cuadro de Stanley Spencer, demasiado grande para ser movido, tuvo un muro de protección delante de él.