При императоре Алексее I (1081—1118) в этом районе был построен новый Влахернский дворец, который стал основной резиденцией. В нём император принимал предводителей Первого крестового похода. Хронист Никита Хониат сообщает, что при внуке Алексея, Мануиле I (1143—1180) дворец был расширен и украшен, став известен как Новый дворец. Он был одной из достопримечательностей византийской столицы, показанных королю Иерусалима Амори I. Согласно французскому хронисту Одону Дейльскому, хотя этот дворец и был расположен несколько ниже прежних, он всё равно доминировал над городом. В это же царствование к дворцу были пристроены бастионы, а при Исааке Ангеле были возведены башни. В 1203 году во Влахернском дворце проходили переговоры с лидерами Четвёртого крестового похода. После падения города в 1204 году латинские императоры предпочли в качестве резиденции Буколеонский дворец. Однако Балдуин II (1228—1261) предпочитал Влахерны, оставив отвоевавшим в 1261 году Константинополь грекам дворец в настолько запущенном состоянии, что Михаил VIII Палеолог (1261—1282) смог занять его только после масштабного ремонта. При последующих Палеологах дворец оставался главным местом пребывания двора. Согласно описаниям современников, он был великолепно украшен и производил сильное впечатление на иностранцев своей роскошью.