ইতিহাসটা সবাই জানেন। ভারতের সর্বকালের সেরা অশ্বারোহী বাহিনীর জেনারেল বাজি রাও প্রথম এমন এক বাসভবনের স্বপ্ন দেখতেন যেটা কেবল তার উচ্চাকাঙ্ক্ষাই মেটাবে না, সেই ভবনের পাথুরে দেয়াল পেশওয়া'র সবচেয়ে শক্তিশালী ঢাল হয়ে থাকবে। ১৭৩০ সালের ৩০ জানুয়ারি থেকে সেই স্বপ্নের বাসভবন ও দুর্গ নির্মাণের ভিত্তিপ্রস্তুর স্থাপন করা হয় আনুষ্ঠানিকভাবে। এটা নির্মাণে সেই সময়কার বিখ্যাত সব স্থপতিদের আনা হয়েছিল। বাজি রাও চিন্তা করেছিলেন, তিনি নিজে যেমন অটল, তেমনি করে গড়ে তোলা হবে এই দুর্গ। ভিত্তিসহ দুর্গের প্রতিটি ইঞ্চি তাই নিরেট পাথরে গড়ে তোলার পরিকল্পনা করেন তিনি। তবে ভিত্তিমূল স্থাপনের পর রাজা শিবাজী জেনারেল রাওকে নির্দেশ দেন বাকি অংশ ইঁট দিয়ে গড়ে তুলতে। কারণ, সম্পূর্ণে পাথরে নির্মিত এমন এক দুর্গ কেবল রাজারই থাকতে পারে। এটা গড়ে তোলার ৯০ বছর পর যখন ব্রিটিশ বাহিনীর ভারী আক্রমণে দুর্গটি ধসে পড়ে, তখন কেবল পাথরে নির্মিত অংশই টিকেছিল। ১৭৩২ সালে ৭তলা বিশিষ্ট দুর্গ ও বাসভবনটির নির্মাণকাজ শেষ হয়। খরচ হয়েছিল ১৬ হাজার ১১০ রুপি। সেই সময়কার জন্যে বিপুল পরিমাণ অর্থ। জানুয়ারির ২২ তারিখে আনুষ্ঠানিকভাবে উদ্বোধন করা হয় দুর্গটাকে।