قصر طولمة باغجة تقع حديقة طولمة باغجة بين حدائق قره بالى (قره بالى محمد بابا) وحديقة بشكطاش. عام 1614م تم ردم هذا الخُليج بأمر السلطان محمد الأول، لما تقتضيه الضرورة التي أوضحها خليل باشا إبان الربانية الثانية ، فأطلق على حديقة طولمة باغجة هذا الاسم، وتم إدراجها بين حدائق السلطان.
ويُذكر في سبب ردم هذا الخليج الذي أعد للاحتفالات البحرية التقليدية أنه أصبح مستنقعا مع مرور الوقت. وتم تحويله إلى روضة خاصة تم تجهيزها لتسلية السلطان والترويح عنه.
ووفقا لرواية الرحالة "أوليا جلبى": رُدِم الشرم فيما بين أعوام 1618/1622 م في عهد خلافة السلطان "عثمان الثاني" في القرن السابع عشر، واكتسب الساحل إطلالة جديدة. وعلى ما يبدو، فإن الأراضي التي أسست على الشرم – المردوم لإنشاء ساحة أكثر ملائمَةً لإقامة الحفلات– قد تحول تدريجياً إلى حديقة خاصة عرفت فيما بعد ب"طولمة باغجة".
أما " أرميا جلبى" فيزعم أن الشرم قد رُدِم في عهد السلطان أحمد الأول فيما بين 1603/1617 م، ويقول أن" قره بوليس" قام بردم البحر، وإظهار الحديقة للمرة الأولى في عهد السلطان "سليمان القانوني" وفقاً لرواية غليوس عن انجيجيان. 
ومن جانب آخر يوضح "جروسونور"، أن الشرم قد رُدِم بتسخير ستة عشر ألف أسير من أهالي البحر المتوسط وذلك بأمر خير الدين بربروس، وعندما يُؤخذ الموقع الجغرافي للمكان المشار إليه بعين الاعتبار، يَقوى الاحتمال الذي يمكن أن يصبح بداية تاريخية مبكرة نسبياً لمعالجة الحصول على ميناء حصين. ومن المحتمل أن تكون عملية الردم الحقيقية التي تنفيذها للحصول على مساحة شاسعة، قد حدثت في النصف الأول من القرن السابع عشر. ولا يُعرف متى دخلت لخزانة الدولة حديقة طولمة باغجة التي لم يُصادَف اسمها في دفاتر المرتبات المؤرخة بعام1583م، إلا أنها موجودة بالمعلومات التالية التي أدلى بها المؤرخ والرحالة "أوليا جلبى" فيما يتعلق بالموضوع : "في عهد السلطان بايزيد كان هناك منزل ساحلي للوزير. وما أن مضى عليها السلاطين حتى أصبحت حديقة "إرم" كالجنة، تزينها الحدائق المتعددة والكثيفة والمقاعد المرتفعة ". ووفقاً لما يذكر "اوليا جلبى" أنه كانت في هذه الساحة في عهد السلطان عثمان الثاني، جابية استراحة السلطان سليم الثاني الخاصة. ومن ناحية أخرى يزعم انجيجيان أن هناك سبيل للمياه العذبة يعرف باسم " كوميش صويى" (أي مياه الفضة) في هذه الحديقة الواقعة بين الحديقة الخاصة بالبشيكطاش وحديقة قره بالى بالقاباطاش، أما "أرميا جلبى" فيستخدم تعبير "بك لك بستان" (أي بستان الإمارة) فيما يتعلق بحديقة طولمة باغجة. أخذت الحديقة الخاصة طولمة باغجة تمتلئ بالمباني التي شُيدت بأمر السلاطين المختلفين على مر العصور. والبناء الأول المعروف هو استرحة السلطان سليم الثاني الخاصة كما أفاد "اوليا جلبى" في حديثه، ويعتقد أن هذه الاستراحة التي شُيدت تقريبا بعد ردم الشرم، كانت تقع في الأقسام الداخلية. أما استراحات كل من السلطان أحمد الأول، والسلطان محمد الرابع، والسلطان أحمد الثالث، والسلطان محمود الأول والتي عرفت أنها ترجع لتواريخ بعد ردم الشرم، فيزعم أنها شُيدت قريبة من الساحل. ومن ثم يتضح ظهور القصور الساحلية في المكان المدعو "حديقة الجوامع" بالساحة المطلة على منتزة طولمة باغجة وحتى بشكطاش.
وبعد فترة وجيزة انهار القصر الخاص بالسلطان محمد الرابع إبان عام 1680م، نتيجة لقلة استخدام القصر والتأثير السلبي للرطوبة على المواد الخشبية. ومع تنحي السلطان مصطفى الثانى عن العرش، تم ترميم هذه المباني بتحويلها إلى مبانٍ حجرية وتم إلحاقها بالقصور الجديدة. وفي عام 1719م تم إلحاق مباني طولمة باغجة، بأبوابها وجدرانها التي أصابها الإنهيار، بقصر بشكطاش مع ترميم ما تلف. كما أُزيلت السقالات القائمة بينهما وسُمح لأهالي الفندقلى المترددين عليها بالمرور من طولمة باغجة. وإلى جانب القصر الذي أعد لإقامة السلطان أحمد الثالث عام 1715م، أمر السلطان محمود الأول بتشييد بنائين كبيرين بنفس الموضع عام 1741م وكان يقيم في هذا المكان في شهور الصيف فحسب. 
اشتعلت المباني القائمة حول طولمة باغجة إثر حريق نشب عام 1775م، هذه المباني التي أخذت تتوسع تدريجيا بالملحقات التي أقيمت في عهد السلطان العثماني عثمان الثالث. وفي نفس الفترة، في عهد السلطان عبد الحميد الأول، أعيد بناء الاستراحات القائمة هناك منذ عهد السلطان سليم الأول وباحتراف عن طريق تزينها بالورود الزخرفية الأخَّاذة ابتداءً من الأرضية وعلى الطراز الإيراني. كما كان هناك مبنى يحمل بعض العناصر التي تتلاءم مع مفهوم الهندسة الأوروبى بهذه الحقبة، وقد شيده المعماري "ملينج" بأمر من السلطان سليم الثالث، على طراز القصور الصيفية. وكان السلطان محمود الثاني أول من فكر باستخدام القصر القائم بمنطقة طولمة باغجة والذي أصبح قصراً ساحلياً كبيراً مع الأبنية الملحقة به خلال الفترات المتباينة.