祀伍福五位大帝，而海山馆之名则是因为该营原驻守地海坛岛上有一座山名为「海山」。在安平这样的会馆原本共有五座，但今天只剩下海山馆而已。
沿革.台湾成为清朝领土之后，因为认为清廷台湾易生民变，故台湾驻守的军队不从当地征用，而主要从福建省调来，行约三年一轮的班兵制。当时驻守台湾的军力共有十营，不计将领，士兵约有一万人，其中八千人在台湾本岛，两千人则在澎湖群岛。这十营之中有五营是陆师，从福建的漳州、汀州、建宁、福宁、海坛、金门六镇标及福州、兴化、延平、闽安、邵武五协标调来；另外五营则是水师