才是帝王居所。第四次十字军东征君士坦丁堡大皇宫陷落时，卜尼法斯一世（Boniface I）的士兵洗劫了君士坦丁堡大皇宫。拉丁帝国依然有使用大皇宫，但是缺乏资金进行维护，最后一位拉丁皇帝鲍德温二世甚至拆除了皇宫的主屋顶贩卖。1261年，拜占庭帝国的米海尔八世重夺君士坦丁堡，当时君士坦丁堡大皇宫的状况不良，故皇帝弃用君士坦丁堡大皇宫。1453年，奥斯曼帝国穆罕默德二世进入君士坦丁堡时，发现了破败的君士坦丁堡大皇宫，他漫步在空荡的大殿及楼亭时，低吟了波斯诗人菲尔多西的诗文：君士坦丁堡的重建使皇宫的大部分建