בתקופת סולטנות בנגל, קדוש סופי בשם הזרת שח'אלאל דכיני מדאקה, וחסידיו נהרגו על ידי סוכני הסולטאן ונקברו באתר בנגבהאן. האתר התפרסם במהרה כמזהר (מוזוליאום) עבור חסידי הקדוש. משערים שהיא הייתה שייכת לזמינדר בתקופת השלטון הבריטי. נואב חוואג'ה עבדול גאאני מדאקה קנה את האתר ובנה בו בונגלו (Bungalow) אותו כינה גן דילקושה. עם חלוקת בנגל בשנת 1905 על ידי לורד קורזון, רכשה ממשלת מזרח בנגל ואסאם את האתר ובנתה בו ארמון ששימש בית מגורים זמני למשנה המושל של הודו עד שנת 1911. משנת 1911 עד 1947 נקרא הארמון בית המושל ושימש כמקום מגוריו הרשמי של מושל בנגל. בעקבות עצמאותן של פקיסטן והודו בשנת 1947, כאשר מזרח בנגל הפכה רשמית לחלק מפקיסטן ונודעה בשם מזרח פקיסטן, הפך הארמון למעונו של מושל מזרח פקיסטן. הארמון נפגע מסערה בשנת 1961. שיפוץ משמעותי הושלם עד 1964. בשנת 1971 עם סיומה של מלחמת העצמאות של בנגלדש והכרזתה על עצמאותה, היווה הארמון את משכנו של נשיא בנגלדש.