Pałac ten jest pozostałością Pałacu Blacherny, zbudowanego między XI w. a XIV w. w pobliżu murów miejskich, w dzielnicy Blacherny, w pobliżu kościoła Chora, na jednym z siedmiu wzgórz miasta. Budynek stanowi połączenie różnych technik murarskich i materiałów. Początki budowli sięgają panowania cesarza Anastazjusza I. Znacznie rozbudowali go jednak cesarze Aleksy I i Manuel I z dynastii Komnenów. To właśnie za panowania tej dynastii przeniesiono tu siedzibę władców z położonego na przeciwległym krańcu Konstantynopola Wielkiego Pałacu. Zrujnowany za panowania łacinników ponownie stał się rezydencją cesarską za panowania Paleologów. Od tego czasu pełnił tę funkcję aż do zdobycia Konstantynopola przez Turków. W epoce Bizancjum był znany pod nazwą "Pałac Porfirogenetów", w czasach imperium osmańskiego jako "Pałac Tekfur", służył wówczas jako magazyn, stajnie, fabryka szkła, ceramiki.