园南端的内幸町交差点，旧内幸町在当时是一个完整的街区。寛永年间，本地从东开始是陆奥盛冈藩南部家、肥前唐津藩寺泽家、陆奥会津藩加藤家、日向饫肥藩、肥后人吉藩等大名的上屋敷。其中，东部的南部、寺泽、加藤三邸在正德3年（1713年）转交给柳泽吉保，之后作为大和上屋敷。此外，相良邸后为石见津和野藩上屋敷，柳泽邸、伊东邸、相良邸等延续到幕末。明治元年（1868年），柳泽屋敷转由东京府使用。明治27年（1894年）移转至有乐町后，原址改为夏目漱石曾入院的长与胃肠医院、本社、等设施。伊东邸转让给岛津家出售后，