Будівництво Колізею розпочато за наказом імператора Веспасіана після його перемог в Юдеї в 72 році н. е. Для будівництва було обрано територію саду й ставка біля Золотого будинку Нерона. В 64 році ця територія була приєднана до приватних володінь імператора після Великої пожежі. Поруч для Нерона звели подовження акведука Аква Клавдія, та встановили статую імператора. За Веспасіана ставок було осушено, будівлі в саду знесено, а сам сад ліквідовано. На його місці викопали фундамент завглибшки 6 м, залитий потім цементом. Іноді припускається, що до будівництва були залучені близько 100 тис. військовополонених з Юдеї, проте не знайдено достовірних свідчень цього. Більшість будівельних матеріалів доставлялися з території Тіволі за 20 км від Риму. Всього знадобилося 100 тис. м3 травертину. Головним вірогідно архітектором був Квінітій Атерій.