В 1453 году, после завоевания турками Константинополя, османский султан Мехмед II первоначально поселился в построенном для него дворце в районе нынешней площади Баязид (на месте площади Быков). От этого дворца ничего не сохранилось, однако гарем старого дворца с самого начала располагался вблизи будущего дворца Топкапы — в так называемом «Изразцовом павильоне».