代的中后期，市场週边陆续增建多处私人平房店舖与摊贩；1911年，市场附近也设供日人祭拜的稻荷神社及椭圆型小公园；均在今台北捷运西门站附近。西门市场入口的两层洋楼，即为现今红楼。因其外观为八角形，因此被当地日人居民称为八角堂。八角堂从立面可见有八面「老虎窗」，每立面外墙的女儿墙装饰突出的三角形的「山头」，另外，外墙则以洗石子仿造山石充作横带装饰。在内部方面，八角堂採用八角形樑柱系统为钢筋混凝土构造，上面为钢铁支架称起的八角形屋顶。以空间论，约可包含二楼的八角形大厅，与一楼入口大厅与分居八角落的八间小店舖。