1910年代左右，以台湾总督府主导的维护治安与镇压行动日渐兴盛，台籍犯人增多。为此，总督府特别使用城墙遗留下的石材兴建新的台北刑务所，而此刑务所即为战后的台北监狱。
战后.充当犯人牢狱的该刑务所，于第二次世界大战战后仍被中华民国政府拿来当作关押犯人的「台北监狱」，设于围墙内的该监狱直至1963年才渐次拆迁移监，仅存四周围的边墙。今日建物全部拆除殆尽的台北监狱，只剩南北两边，高约三公尺，长约百余公尺的石墙。而该两堵墙所用石材，大多取自1900年台湾总督府所拆除的台北城东与南城