En el año 537, el edificio sufrió saqueos y desperfectos por el ataque de los ostrogodos del Rey Vitiges, perdiéndose las estatuas y los adornos de bronce, como contó Procopio.