光二十一年（1841年），时任闽浙总督颜伯涛在白石头至沙坡尾一带，建了一条全长1667米，高3.3米，厚2.6米的花岗岩石壁并安装100门火炮，称为“石壁炮台”（英国人称为“长列炮台”）。鸦片战争期间，厦门岛被英军攻陷，石壁炮台被毁。现存胡里山炮台是清朝洋务运动时期的产物，由当时福建水师提督彭楚汉及闽浙总督卞宝第题奏获准建造。 工程始建于光绪二十年（1894年）三月初八，完工于光绪二十二年（1896年）十月初八，工期两年八个月，完工时的闽浙总督为杨歧珍。炮台结构为半地堡半城垣式，兼具欧洲和明清的建筑