古墳時代は、山塊の北側の山麓は海岸であり、東側と西側の山麓を河川が北流していたとされている。標高150～160メートルの摺鉢谷では、弥生時代の青銅器・土器・石器が採取され、高地性集落の痕跡が認められる。浄願寺山と紫雲山の標高20～30メートルの場所でも、弥生時代の遺物が採取されている。古墳時代前期の積石塚は、大和の豪族を首長とする政治連合に参加しながら、自立的な地域支配を行っていた豪族の遺跡とされている。その後、古墳時代後期まで、山塊の全域で多くの盛土墳が築かれている。江戸時代の摺鉢谷は、深山幽谷であると『三代物語』に記述する。香東川は石清尾山塊を挟んで東西二筋の流れであったが、西嶋八兵衛が江戸時代初めの治水工事で東側の流れを堰き止め、西側の流れ一本に改変したとされている。昭和時代初め、摺鉢谷の峰近くの緩斜面と平坦地が開拓され、徐々に居住者が増える。峰山町は1940年（昭和15年）、高松市の町名になる。2018年（平成30年）5月現在、65世帯・153人が居住する。1979年（昭和54年）、市政施行90周年記念事業の一環として峰山公園の整備が始まる。1981年（昭和56年）に丸山地区の供用開始、1983年（昭和58年）に全域の供用開始となる。その後、はにわっ子広場などが新設された。
天保4年（1833年）、筑後国御原郡古飯村（現・福岡県小郡市）の庄屋の次男として生まれる。大坂で医学を修め、江戸に洋学や剣術を学び、古屋家の養子となり御家人になる。神奈川奉行所の運上所の定役となる。野毛の官舎に住み、長老派宣教師やヘボンに英語や洋学を学ぶ。文久2年（1863年）には、神奈川奉行所通訳となった。その後、横浜に駐屯していたイギリスの軍隊に用兵術を学び、英語の兵書を翻訳し『英国歩兵操典』『歩兵操練図解』を著した。なお、このときの部下に今井信郎がいる。慶応元年（1865年）には、西洋式軍隊訓練場である太田陣屋の普請係となった(慶応2年春に竣工)。慶応2年（1866年）2月、歩兵差図役に任じられ、慶応3年（1867年）4月に伝習隊が江戸に移ると、越中島などにて幕府陸軍の訓練を担当した。戊辰戦争開戦時は幕府陸軍で歩兵差図役頭取の要職にあった。慶応4年（1868年）2月5日から7日にかけて、鳥羽・伏見の戦いで指揮官佐久間信久が戦死した第11連隊と、同じく戦死した窪田鎮章の第12連隊の残存兵力約1,000人が麹町三番町の兵舎から脱走した。その後、逃亡や捕縛などでその数は半数に減ったものの、約500人が下野方面に屯ろしていた。2月10日頃、佐久左衛門は陸軍総裁・勝海舟の許可を得て、元京都見廻組の今井信郎らと共に脱走兵取締のために江戸を出発し、塩谷郡佐久山宿（現在の栃木県大田原市佐久山）にて脱走兵を説得し帰順させる。それらを忍藩に預けて自身は江戸に戻ると、歩兵頭並に任じられて信濃鎮撫の命令を受け、3月上旬に新たに500人の兵を率い、先に帰順した400名と合流、武蔵羽生陣屋に入り、900名の部隊を結成する。8日には羽生を出発し、下野国梁田郡梁田宿に入るが、翌9日未明に古屋隊は大垣藩兵を主力とする官軍の奇襲攻撃を受け、62名の死者を出して敗走した（梁田の戦い）。翌日、鹿沼にて部隊を再編成し、藤原を経て22日には、会津に入り松平容保に謁見し、24日には部隊名を衝鋒隊に改める。翌25日には、若松城下を発ち、水原をへて4月1日、新潟に着いた。その後、11日には、与板へ移動、与板藩から軍資金の提供を受け、高田を経て、飯山城を信濃平定の拠点にすべく、23日には飯山城下へと迫った。25日、衝鋒隊と、官軍の松代・尾張藩兵との間に戦闘が始まった。戦いの前半は衝鋒隊が優勢であったが、玉虫色の態度を示していた飯山藩が、衝鋒隊に対して突然発砲、衝鋒隊は総崩れになり敗北した（飯山戦争）。越後へ退却すると、高田藩の裏切りにあって襲撃され、衝鋒隊は四分五裂となり敗走した。しかし小千谷にて再結集し、閏4月27日からの鯨波戦争では小千谷市南方に位置する雪峠にて会津軍と共によくこれを守ったが、官軍の3度に渡る波状攻撃を受け、小千谷を放棄、片貝村へと退いた（その後の展開は北越戦争参照）。その後、衝鋒隊は8月末まで、越後国で交戦を続けていたが、翌9月には米沢藩の降伏、若松城下に官軍が進出するなどの状況になり、会津方面に撤退。若松城籠城軍と合流を試みるも、城は包囲されており、福島を経て、9月14日、白石に到着。10月10日には、石巻から榎本艦隊に合流し箱館に向かった。蝦夷共和国では歩兵頭に就任。明治2年（1869年）5月12日、箱館五稜郭で新政府軍軍艦による艦砲射撃を受けて重傷を負い、4日後の16日に死去した。享年37。