Gradnjo so financirali z obilnimi spolijami, ki so jih odvzeli iz judovskega templja, potem ko je veliki judovski upor leta 70 n. št. pripeljal do obleganja Jeruzalema. Glede na rekonstruiran napis, ki so ga našli na mestu, je »cesar Vespazijan ukazal, da se ta novi amfiteater postavi iz njegovega splošnega deleža v plenu«. Pogosto se domneva, da so judovske vojne ujetnike pripeljali nazaj v Rim, da bi prispevali k delovni sili, potrebni za gradnjo amfiteatra, vendar za to ni nobenih antičnih dokazov . Skupaj s tem brezplačnim virom nekvalificirane delovne sile so se ekipe profesionalnih rimskih gradbenikov, inženirjev, umetnikov, slikarjev in dekoraterjev lotevale bolj specializiranih nalog, potrebnih za gradnjo Koloseja. Kolosej je bil zgrajen iz več različnih materialov: lesa, apnenca, tufa, ploščic, betona in malte.