Als je bijna je 2000e verjaardag viert, mag je in je handjes knijpen als je nog overeind staat - en ook nog eens zo populair bent! Naast de tijd, zijn er een aantal andere zaken die het Colosseum hebben beschadigd: brand, aardbevingen en opportunistische aannemers die spolia gebruikten, oude stenen die werden hergebruikt voor nieuwe bouwwerken.
Het Colosseum was bijna twee eeuwen in topconditie voordat het noodlot toesloeg. In 217 n.Chr. raakte de houten bovenverdieping van het Colosseum zwaar beschadigd bij een brand, en in 443 n.Chr. liep het nog meer schade op door een zware aardbeving.
Bovendien nam met de opkomst van het christendom de populariteit van de gladiatorengevechten af. Vanaf 435 n.Chr. werden ze helemaal niet meer gehouden in het Colosseum. De arena werd nog wel gebruikt voor dierenjachten, maar de hoogtijdagen waren voorbij. Een nieuwe aardbeving in 1349 n.Chr. bracht nog meer schade toe, en de buitenste zuidkant stortte in.