Efter næsten 2.000 år er det et mirakel, at Colosseum stadig står og stadig er så populær. Der er flere årsager til Colosseums beskadigede ydre, lige fra brand og jordskælv til opportunistiske bygherrer, der udnyttede spolia (genbrug af gamle sten til nye bygninger).
Det lykkedes dog Colosseum at overleve i næsten to århundreder, før katastrofen ramte: I 217 e.Kr. blev Colosseums øverste etage af træ alvorligt beskadiget af en brand, og i 443 e.Kr. blev bygningen yderligere beskadiget af et stort jordskælv.
Med kristendommens indtog faldt gladiatorkampenes popularitet, og efter 435 e.Kr. var der ikke længere tale om gladiatorkampe i Colosseum. Selvom arenaen fortsat blev brugt til dyrejagter, var dens storhedstid forbi. Endnu et jordskælv i 1349 e.Kr. forårsagede yderligere skader, og den ydre, sydlige side kollapsede.