El 23 de enero de 2006 un incendio acabó con el Palacio de la familia Salazar de Frías (Condes del Valle de Salazar, actualmente San Andrés) que hasta el momento era la sede episcopal.