噴火によってたびたび焼失したため、天暦年間には性空により麓の瀬多尾越(現在の高千穂河原・古宮址)に遷される。