El edificio sufrió daños por un incendio en el año 80, de los que fue reparado por Domiciano, aunque sufrió una nueva destrucción en tiempos de Trajano, en el año 110.