舍位于西营盘般咸道今香港大学所在地，并于1924年至1929年短暂迁往薄扶林。1923年，书院获得政府批出赤柱一块地皮以建立新校舍（今书院所在地），1928年4月27日举行动土仪式，邀得当时的殖民地总督金文泰爵士出席。1930年，学校主楼建成，由署理港督修顿爵士揭幕。
战地医院及日军屠杀.1941年12月8日日军侵略香港，学校大楼被港府改作紧急军事医院。12月24日，由华里士准将率领的驻港英军东旅于12月23日退入赤柱，并于赤柱村至赤柱炮台间建立三道防线，书院位于第二及第三道防线之