警察署座落于台南市幸町一丁目8番地，由台南州土木课营缮系设计、监工，设计师为梅泽舍次郎，昭和6年（1931年）12月22日落成，在此之前台南警察署与台南市役所同在台南州厅内办公。另外，台南警察署厅舍的基地在清治时期原为台湾府城七寺八庙之中的龙王庙，而重道崇文坊原本也建在这一带。此处在1901年新建台南寻常高等小学校校舍，在1904年后改由临时台湾糖务局台南支局使用，在1908年改为台南寻常高等小学校分教室，在1919年作为台南商专的临时校舍，之后改为台南第二高等女学校的学校宿舍，直到拆除改建为台南警察署。