于1908年由铃木让、森龟贵、中川俊一、松本德太郎、蔡国琳、王雪农等人发议改建神社，时任台南厅长与台湾其他厅联合发起募捐，在六年间募得36,394圆，并由台南厅技师岛田宗一郎任工程设计主任，由若林右藏、矢田贝静睦辅助，工程则是由台南汤川鹿造及杨蕃薯承包。大正三年（1914年）8月，开山神社改建工程动工，改建部分包含前殿、后殿、回廊、东西厢房、祭器库、仪仗所，新建拜殿、社务所、手水舍、神职宿舍、鸟居、参道敷石、社号标，既有照墙及三川门被向东移动，以增加神社空间，并修复了东西辕门；在将相邻私有地征收后，社域增加