旗帜而得到「扯旗山」之名，现已难作考究，但扯旗山上曾经悬挂旗帜是可确定的史实，而第三点在岛屿的最高处悬挂国旗宣示主权亦合乎统治者的习惯，故此推论的可信度也较高。由于「扯旗」一词在20世纪后半叶的香港粤语衍生出「男性生殖器勃起」的含义，甚至辐射到广东、澳门及其他粤语地区，尤其较年轻的香港人几乎将「扯旗」直接等同于「勃起」，故此「扯旗山」虽是该山峰的中文官方名称，香港人在口语上却较少使用「扯旗山」之名，以避免引起尴尬。
历史.在开埠初期，由于交通不便，要靠轿子上落山，故当时居住山顶