No se sabe exactamente cuándo cayó el Coloso, cuya última mención se encuentra en la "Cronografía de 354", probablemente fue destruido durante el saqueo de Roma de 410 o durante los terremotos del siglo V, y el metal fundido para reaprovecharlo. Es posible que se mantuviera en pie aún en la Alta Edad Media debido a que Beda el Venerable (672-735) habla de él en uno de sus poemas. Lo cierto es que hacia el siglo XI d. C. los romanos habían transferido su nombre y poderes al anfiteatro próximo, el Coliseo.