寺主祀观世音菩萨、左畔祀关帝君、右畔祀土地公。王养源来台东参观，写下描写汉、原住民文化交会的十三首竹枝词，包含此寺。1941年，皇民化运动兴起，一次，警务课长井野边招集台东市绅在台东天后宫开会，主张废除台东所有寺庙，改成神社。首先被问的南医师是原住民，表示赞成。第二位陈姓士绅是基督徒，也表示赞成。第三位「台东三赖」之一的赖金木说庙宇是众人所有，应问众人。第四位吴金玉则答至少保留天后宫与海山寺，因为是民众的信仰中心，而且战争方殷，为安定人心，废庙不宜。于是，两寺庙皆得以保存。