Oppføringen av palasset ble påbegynt av Konstantin den store tidlig i det 4. århundre. Komplekset ble utvidet og utvidet frem til midten av det 11. århundre, inntil palasset fremsto som et konglomerat av bygninger med forskjellig form og funksjon. Her skal bl.a. ha vært mottakelses- og bankettsaler, paviljonger, kirker og kapeller, boligkvarter, bad og haver. Beskrivelser av palasset finner vi bl.a. hos de russiske reisende som var i Konstantinopel i det 14. og 15. århundre. De forskjellige reiseskildringene gjør at vi kan danne oss et bilde av hvor palasset har ligget, og av en del av bygningene det har inneholdt. Konstantins palass skal ha omfattet store arealer rundt stedet der Den blå moské står idag. Da det var på sitt største, la det beslag på området begrenset av Hippodromen og sjøen i én retning, og Hagia Sofia og enden av Hippodromen i den andre. Opplysninger om palasset finnes i nesten alle historiske beskrivelser, og i det 10. århundre skrev Konstantin VII Porphyrogenitus en bok om det. I den beskrev han også hvordan seremonier ble holdt i forskjellige deler av palasset. Dette manuskriptet er oppbevart i Leipzig. Noen deler av teksten kan være eldre, andre yngre, men tilsammen gir den et godt bilde av helheten. Ut fra dette vet vi hvor de mange kirkene var plassert innen palasset, og hva de viktige bygningene var kalt, men forsøk på å rekonstruere palasset har gitt usikre resultater. Idag er ingen av disse bygningene tilbake over jorden, og det som har blitt gravet ut har bare kunnet identifisere noen få av bygningene.