师提督彭楚汉及闽浙总督卞宝第题奏获准建造。 工程始建于光绪二十年（1894年）三月初八，完工于光绪二十二年（1896年）十月初八，工期两年八个月，完工时的闽浙总督为杨歧珍。炮台结构为半地堡半城垣式，兼具欧洲和明清的建筑风格，总面积达7万多平方米，其中城堡面积1.3万多平方米。炮台分为战坪、兵营和后山三个区，内有暗道、护墙、护城壕、弹药库、兵房、观哨台、官厅等。台基由乌樟树汁和红糖、糯米、砂土、石灰等搅拌而成，十分坚固。胡里山炮台选址海岛东南端海岬突出部，三面环海，向东可支援距离约4500米的白石炮台