该刑务所规模仅次于台北刑务所，而台北刑务所所长也多由台南刑务所所长调任。日本时代该处收容许多「匪徒」等重刑犯，曾经有过因收容人数过多而请求将100多名无期徒刑囚犯移监到台中监狱的记录。该刑务所曾收押过余清芳、罗俊、江定等西来庵事件的参与者，也关过因治警事件入狱的蔡培火、陈逢源、杨华等。
沿革.刑务所初设于1896年（明治30年），是取用源于清朝武库的陆军第二师团司令部宿营所加以增补而成，地点位在台南城内下太子街（后来编为泉町）。创建初期命名为台南县台南监狱署，后来依1897年时