经有驻港英军在此驻扎。1902年至1903年，该处开始设有固定营房，翌年更设有军官会所、守卫室及食堂等设施。由于军营毗邻附近的佐敦道枪会，故此得名。1914年，枪会山军营添置了4门向着维多利亚港的10磅后膛山炮，于1920年增加设备篱笆护墙。香港日佔时期，日本皇军曾经佔用军营。日本无条件投降后，英军重新驻守军营，并加以扩展。1974年，黑卫士兵团第一营进驻军营。1977年，枪会山军营新设有驻港英军及啹喀兵已婚军人宿舍，而幼童学校、教堂及医院亦相继落成。原本位于香港岛域多利军营的小学亦于1978年