Ha sufrido tres grandes incendios a lo largo de la historia, el último de los cuales, acaecido en 1790, dio lugar a su última gran remodelación, realizada por el arquitecto Juan de Villanueva.