立面8m八角形的两层楼洋楼建筑，另一边则为「直」约65m「横」约45m，内部「宽」约15m的「十字形」红砖砖造一楼楼房。日治时代的中后期，市场週边陆续增建多处私人平房店舖与摊贩；1911年，市场附近也设供日人祭拜的稻荷神社及椭圆型小公园；均在今台北捷运西门站附近。西门市场入口的两层洋楼，即为现今红楼。因其外观为八角形，因此被当地日人居民称为八角堂。八角堂从立面可见有八面「老虎窗」，每立面外墙的女儿墙装饰突出的三角形的「山头」，另外，外墙则以洗石子仿造山石充作横带装饰。在内部方面，八角堂採用八角形樑柱系统