Sebelum pembinaan stadium ini, tapak stadium ini pernah menjadi tapak pembinaan antara salah sebuah penjara terawal di negeri Perak yang dikenali sebagai Detention Camp dari tahun 1949 hingga 1959. Pusat tahanan ini menempatkan pesalah dan ahli komunis semasa zaman Darurat di Malaya.