Když máš skoro 2000. narozeniny, máš štěstí, že pořád stojíš, natož abys byl tak populární. Existuje celá řada důvodů pro poškozený vzhled Kolosea na vrcholu účinků času, od ohně a zemětřesení k oportunistickým stavitelům vydělávajícím na spolii (opětovné využití starého kamene pro nové struktury).
Koloseum dokázalo zůstat ve svých nejlepších letech téměř dvě století předtím, než katastrofa skutečně udeřila. V roce 217 n. l. byla dřevěná horní úroveň Kolosea těžce poškozena požárem a v roce 443 n. l. utrpěla větší škody v důsledku velkého zemětřesení.
Kromě toho, jak křesťanství rostlo, popularita gladiátorských bitev klesala a po roce 435 našeho letopočtu už o nich v Koloseu není žádná zmínka. Aréna se stále používala pro lov zvířat, ale její rozkvět už dávno uplynul. Další zemětřesení v roce 1349 našeho letopočtu viděl další škody, s vnější jižní straně se zhroutí.