。清朝时期，赤柱已有名为赤柱汛的营汛。香港于1930年代的英国殖民地时期，英军为防范日本侵略所以在黄麻角设立赤柱军营。兴建军营期间因为原址及附近一带有农民居住，香港政府于是在赤柱大街兴筑了八间平房来安置原住民，即现在的八间屋。1941年12月8日香港保卫战爆发，驻港英军最后据点的赤柱炮台炮火令日军伤亡严重，1941年12月25日香港总督杨慕琦在九龙半岛酒店内下令投降，但是当时驻守赤柱的东旅华里士准将未确定港督投降令之真伪，至12月26日华里士确认投降令后才投降 。香港日佔时期的圣士提反书院现址是白人的集