Byggingen av palasset begynte på 500-tallet som luksuriøst herberge for gjester som ville besøke klosteret Blachernai rett ved siden av. Anlegget ble utbygd ut og kom i keiserlig bruk. Fra 800-tallet bodde keiseren heller med sin familie i Blachernai enn i det gamle keiserlige palass.