于是包括海山馆在内的「安平五馆」便因而出现。而当有时候海象不佳以致官兵无法如期回乡时，会馆便成为这些官兵的栖身之所，直到海象平复为止。值得一提的是，由于雍正时规定派到台湾的官兵不可以和当地居民有共同的祖籍，故当时在安平的官兵都非泉州或漳州籍。而进入日治时期后，由于失去原有功能，「安平五馆」便因而荒废毁弃。进入民国后，只剩下海山馆依然存在，并被安平人张长庚买下，修建成三合院式的住宅，而原有的神像则移到海头社文朱殿供奉。直到民国六十四年（1975年），台南市政府为了庆祝「台南观光年」，便收购了变成民宅的海山