A 27 de outubro de 1601, deu-se um dos grandes incêndios que destruiram quadros dos Reis de Portugal e as pinturas afresco maneiristas. Outro incêndio deu-se a 10 de agosto de 1750 e um terceiro a 1 de novembro de 1755, resultando do Terramoto de Lisboa. A ironia foi a de que o Hospital Real de Todos os Santos foi destruído no seu próprio dia, o dia de Todos os Santos.