势国津藩大隅守（误植）家上屋敷、信浓国松本藩出羽守家屋敷、旗本）屋敷。江户时代中期，东北部增加出羽国庄内藩酒井左卫门尉家中屋敷，水野家屋敷迁离。后期增加熊之助家上屋敷、太田钲吉屋敷。
明治时代.安政6年（1859年），种痘所从神田迁至藤堂家屋敷北的伊东玄朴邸，因此明治元年（1868年）7月，藤堂家屋敷旧址设置医学所临时医院，加入横滨军阵医院机能后改称大医院。大医院经多次变迁后成为，明治9年（1876年）移至本乡本富士町。东京医学校后变为，明治11年（1878年）11月其