Изабрана локација била је равна површина ниске долине између брежуљака Целио, Есквилин и Палатин, кроз коју је текао каналисани поток. До 2. века п. н. е. ова област је била густо насељена. Она је била опустошена Великим римским пожаром из 64. године, након чега је Нерон запленио велики део подручја и додао га свом личном домену. Он је изградио грандиозну "Домус Ауреа" на том месту, испред које је направио вештачко језеро окружено павиљонима, баштама и тремовима. Постојећи аквадукт "Аква Клаудија" је продужен да напаја водом ову област и гигантски бронзани Колос Нерона је подигнут у близини на улазу у Домус Ауреа. Мада је Колос очуван, највећи део Домуса Ауреа је порушен. Језеро је било испражњено и затрпано, и простор је искориштен као локација за нови Флавијанов амфитеатар. Гладијаторске школе и друге помоћне зграде су изграђене у близини унутар некадашњег подручја Домус Ауреа. Одлука Веспасијана да изгради Колосеум на месту Нероновог језера може се сматрати популистичким гестом да се људима врати подручје града које је Нерон одвојио за своју властиту употребу. За разлику од многих других амфитеатара који су се налазили на периферији града, Колосеум је изграђен у центру града; тиме је стављен симболично и прецизно у срце Рима.