曾于此居住或休憩的日本皇族有：、 秩父宫雍仁亲王、高松宫宣仁亲王、朝香宫鸠彦王、东久迩宫稔彦王、久迩宫妃、伏见宫、东伏见宫妃、梨本宫守正王等。 其他名人有历任总督、朝鲜懿愍太子李垠、西本愿寺第22代当主大谷光瑞等 。台湾光复后寿山馆尚存，后来因中山大学要在西子湾复校，寿山馆因此在1980年左右被拆除，改建为职员宿舍，但附近山上还存有凉亭遗迹。