До XVII ст на місці палацу була гавань, що використовувалася з античних часів. Вважають, що саме з неї Мехмед II Фатіх звелів витягнути на берег свої кораблі і переправити їх у бухту Золотий Ріг під час взяття Константинополя. У часи Османської імперії у цій бухті стояли флагмани її флоту і проводилися традиційні морські святкування. В XVII ст гавань була засипана і створений сад Долмабахче, що використовувався падишахами для відпочинку. На території саду був збудований дерев'яний комплекс Бешикташ Сахіль Сарайї. Його було зруйновано, коли розпочали будівництво Долмабахче.