外籍职员、外籍医生及教师等等，被拘留的很多是妇女及儿童。小学部曾短暂用作拘禁俘虏，但不久转为守卫的营房。当时日本容许战俘作有限度地的营房自管，战俘在校内的大礼堂举行不同形式的娱乐，如电影，话剧、音乐会及宗教活动，亦成为营中学生初、高中教育场地。根据叶灵凤着作香岛沧桑录记载，英属香港旗帜香港旗是一个英国人在香港被日本人佔领时期，在赤柱战犯集中营内所绘，经过伦敦英国纹章院修改后于1959年1月21日颁布成为香港盾徽成为战后香港的象征。日本战败后，由于校舍损毁严重，书院未有马上恢复运作，在维修的同时政府租