Dopo l'abbandono fu adibito nel VI secolo ad area di sepoltura e poco dopo utilizzato come castello. Tra il VI e il VII secolo fu fondata all'interno del Colosseo una cappella oggi nota come chiesa di Santa Maria della Pietà al Colosseo. Sotto papa Leone IV fu gravemente danneggiato da un terremoto (847 circa). Il grande terremoto del 1349 provocò il crollo dell'esterno lato sud, costruito su un terreno alluvionale instabile. A lungo utilizzato come fonte di materiale edilizio, nel XIII secolo fu occupato da un palazzo dei Frangipane, successivamente demolito, ma il Colosseo continuò a essere occupato da altre abitazioni. I blocchi di travertino furono sistematicamente asportati nel XV e XVI secolo per nuove costruzioni, e blocchi caduti a terra furono ancora utilizzati nel 1634 per la costruzione di Palazzo Barberini e nel 1703, dopo un altro terremoto, per il porto di Ripetta.