赤柱拘留營幾乎所有建築物，都用作囚室，除教室以外，聖士提反書院嘅禮堂、教師宿舍、科學實驗室及多間平房，皆住有大量被拘留者。赤柱監獄嘅獄長及監獄醫生宿舍被改建成為日本集中營總部，其歐洲警寓所平均住有30名被拘留者，印度獄警寓所平均住有6名被拘留者，單身印度獄警宿舍被改建為白沙灣tweedbay醫院。