督府所兴建，是1923年裕仁皇太子视察高雄时驻驆休息的地方，因刚好逢皇太子寿诞，于是将贵宾馆改名为寿山馆。后来寿山馆陆续有日本皇家和官员来访高雄时住过。曾于此居住或休憩的日本皇族有：、 秩父宫雍仁亲王、高松宫宣仁亲王、朝香宫鸠彦王、东久迩宫稔彦王、久迩宫妃、伏见宫、东伏见宫妃、梨本宫守正王等。 其他名人有历任总督、朝鲜懿愍太子李垠、西本愿寺第22代当主大谷光瑞等 。台湾光复后寿山馆尚存，后来因中山大学要在西子湾复校，寿山馆因此在1980年左右被拆除，改建为职员宿舍，但附近山上还存有凉亭遗迹。