Em 1755, devido ao terramoto que atingiu Lisboa, o palácio sofre graves danos com o incêndio que se lhe seguiu, destruindo por completo a grande colecção de livros. Posteriormente, parte dele , é adquirido pelo Conde de Burnay e, em 1926, pelo Ateneu Comercial de Lisboa.