96年（明治30年），是取用源于清朝武库的陆军第二师团司令部宿营所加以增补而成，地点位在台南城内下太子街（后来编为泉町）。创建初期命名为台南县台南监狱署，后来依1897年时勅令195号改为台南县监狱署。1899年，新筑工程开始，地点位在土墼埕（后来编为南门町），主要的设计师是山下启次郎。1904年时完工。期间因为官制改革而在1900年改为台南监狱，最后的名称台南刑务所则出于1923年（大正12年）府令84号。1903年，典狱长金子源治曾因收容人数过多，向总督府请求将100多名无期徒刑囚犯移监到台中监狱。