محلهٔ چهار منار از زمان تأسیسات سید شمس الدین محمد بن رکن الدین یزدی، از قبیل مدرسه و خانقاه و بازار به وجود آمد و آبادان شدیادگارهای یزد، ایرج افشار، یزد:نیکو روش و انجمن آثار و مفاخر فرهنگی، چاپ دوم، ۱۳۷۴، ج۲، ص۷۸۵. محلهٔ چهار منار ابتدا خارج از حصار شهر بوده و بعد از گذشت سالیان طولانی به مرکز شهر تبدیل شده‌است، در وقف نامه جامع الخیرات این محله را جزو ظاهر شهر دانسته‌است. اما این کوی از حصار و مرکز شهر فاصله داشته‌است. حتی یک قرن پس از احداث مجموعه عظیم شمسیه این محله دارای بافت مستقل شهری بوده‌است. به‌طوری‌که در منابع تاریخی مسجد میر خضر شاه را با عنوان مسجد جامع یا مسجد جدید جمعهٔ چهار منار ذکر کرده‌اندتاریخ جدید یزد، احمدبن حسین بن علی کاتب؛ بکوشش ایرج افشار، شر: تهران: فرهنگ ایران زمین: امیرکبیر، ۱۳۵۷، ص ۱۱۲ و مشخص می‌شود نماز جمعه‌ای غیر از نماز جمعه‌ای که در مسجد جامع یزد اقامه می‌شده در آن برپا بوده‌استوقف میراث جاودان، مسرت حسین، افخمی رضا، تهران، مؤسسهٔ فرهنگی هنری نور راسخون، ۱۳۹۳، ص ۱۵۵ با این حال این محله جزو محلات مهم شهر محسوب می‌شده‌است. حتی حکام یزد تلاش می‌نمودند انتهای خیابان‌ها و باغات حکومتی خود را تا محلهٔ چهار منار برسانند مانند آثار شاه یحییمفید مستوفی بافقی، محمّد: جامع مفیدی، به کوشش: ایرج افشار، تهران: اسدی، چاپ نخست، ۱۳۴۰، ج. ۳. ص۶۷۸ هر چند قبل از اقدامات میر خضر شاه و افراد دیگر هم محله رونق چشمگیری داشته که این موضوع نشان دهندهٔ زحمات فوق العادهٔ سید شمس الدین در رونق این محله است.طرح تمامی بناهای مهم محله از قبیل مدرسهٔ چهار منار (شمسیه) و خانقاه و حمام و بازار و کتابخانه و داروخانهجامع الخیرات، وقف نامهٔ سید رکن الدین و سید شمس الدین، به کوشش ایرج افشار و محمد تقی دانش‌پژوه، تهران،انتشارات آثار ملی ،۱۳۴۱ص ۱۰ (یعنی محوطهٔ دانشگاهی با وسایل لازم آنافشار، ایرج، مقالهٔ رشید الدین فضل‌الله و یزد، مجله ایران‌شناسی: شماره دوم، ۱۳۴۹ ص ۲۸) را از پایتخت ایلخانان مغول تبریز به دستور رشیدالدین فضل‌الله طبیب همدانی وزیر مشهور سلطان ابوسعید بهادر خان که پدر همسر سید شمس الدین بود تعیین فرمود و از طریق قاضی چهاردیه که از امنای سید شمس الدین بود به یزد فرستاده‌اند و بَنایان و معماران عمارت‌ها و ساختمان‌ها را ایجاد کردند.به دستور سید شمس الدین دو مدرسه در مقابل یکدیگر ساختند و ۴ منار با کاشی‌های سبز رنگ زیبا بر اطراف هر دو مدرسه بنا نهادند و بازاری دو رویه که آب تفت از یک سو و آب نرسو آباد و آب گرد فرامرز از سوی دیگر در میان بازار و محله جاری ساختند "آب گرد فرامرز را در سال ۸۴۹ هجری قمری به دستور سیّد مرتضی امیر جلال الدّین خضر شاه بن غیاث الدّین علی یزدی بعد از احداث مسجد چهار منار جاری ساختندوقف نامهٔ مسجد خضر شاه، نسخهٔ خطّی گنجینهٔ (موزه) میرزا محمّد کاظمینی در یزد" و ۳۰ دکان و ۴ کاروانسرای (ساباط) بسیار زیبا در محله احداث کردند و تمام ابزار و وسایل لازم را من جمله سنگ‌های مرمر و چوپ و کاشی و… را از پایتخت امپراتوری ایلخانان، تبریز به شهر یزد فرستادند و همچنین موقوفاتی را برای این بناها ثبت کردند از جمله عمارت نه گنبد و بناهای دیگری در یزد و ابرکوه و اصفهان و تبریز.تاریخ جدید یزد، احمدبن حسین بن علی کاتب؛ بکوشش ایرج افشار، نشر: تهران: فرهنگ ایران زمین: امیرکبیر، ۱۳۵۷، ص ۱۲۹یادگارهای یزد، ایرج افشار، یزد:نیکو روش و انجمن آثار و مفاخر فرهنگی، چاپ دوم، ۱۳۷۴، ج۲، ص۵۹۱ساخت و ساز تمام این بناها و عمارت‌ها در سال ۷۱۷ هجری به پایان رسید و در سال ۷۳۳ سید شمس الدین در تبریز از دنیا رفت و جنازه اش را به یزد منتقل کرده و در مدرسه شمسیه به خاک سپردند.یادگارهای یزد، ایرج افشار، یزد:نیکو روش و انجمن آثار و مفاخر فرهنگی، چاپ دوم، ۱۳۹۴، ج۲، ص۵۹۱.تاریخ جدید یزد، احمدبن حسین بن علی کاتب؛ بکوشش ایرج افشار، شر: تهران: فرهنگ ایران زمین: امیرکبیر، ۱۳۵۷، ص ۱۲۹بعدها در دوران دودمان صفویان و افشاریه و زندیه و قاجار وسعت این محله به مانند دیگر نقاط شهر یزد گسترش یافت به‌طوری‌که دز دروهٔ حکومت زندیه، کریم خان زند برای به اطاعت درآوردن حاکم یزد محمد تقی خان بافقی بانی باغ دولت‌آباد و مؤسس سلسلهٔ خوانین یزد لشکر خود را از دروازه چهار منار وارد شهر یزد می‌کندمحمد کاظمینی. مشاهیر یزد. ج. دوم. یزد. . یا این که خود باغ دولت‌آباد متصل به دروازه چهار منار بوده‌استتاریخ یزد جعفربن محمدبن حسن جعفری؛ به کوشش ایرج افشار نشر: تهران:انجمن آثار ملی، ۱۳۵۳. ص ۳۶۴ این موضع هم بیان گر این نکته است که محلهٔ چهار منار آخرین نقطه شهری یزد بوده‌است (نکتهٔ مهم و عجیب این است که اکثر موقوفات امروزی باغ دولت‌آباد در اصل موقوفات قرن نهم هجری مسجد بزرگ چهار منار استتاریخ یزد جعفربن محمدبن حسن جعفری؛ به کوشش ایرج افشار نشر: تهران:انجمن آثار ملی، ۱۳۵۳. ص ۳۷۲وقف میراث جاودان، مسرت حسین، افخمی رضا، تهران، مؤسسهٔ فرهنگی هنری نور راسخون، ۱۳۹۳، صص ۱۵۵،۱۵۶یادگارهای یزد، ایرج افشار، یزد:نیکو روش و انجمن آثار و مفاخر فرهنگی، چاپ دوم، ۱۳۹۴، ج۲، ص۲۵۱). همچنین تا ۳۰۰ سال گذشته بسیاری از زمین‌هایی که امروزه باغ دولت‌آباد در آن قرار گفته‌است یا زمین کشاورزی بوده‌است یا ریگ زار که پس از حکومت محمد تقی خان بافقی آباد گردیده، چه پس از اقدامات محمد تقی خان و چه قبل از آن از محله‌ای به نام دولت‌آباد در تواریخ یزد نامی نیامده است و بارها در تاریخ اشاره شده‌است که باغ دولت‌آباد متصل به دروازهٔ چهار منار است که امروزه داخل خود محلهٔ چهار منار قرار دارد.