Fra gammelt av het området - fra norrønt som betyr «høy sten». Det er to teorier om hvordan navnet oppstod, men man antar at navnet enten refererer til det 284 meter høye Damsgårdsfjellet, eller en gruppe med store stener som lå nede ved strandkanten i Damsgårdsbukten. Bosetting i området kan spores tilbake til middelalderen, da det lå under Munkeliv kloster. Man antar at området ble brukt allerede rundt begynnelsen av 1100-tallet, men første sikre etablering er i 1427, da området beskrives i Munkeliv jordbok. I kjølvannet av reformasjonen i 1536 ble gården - som annet kirkegods - overtatt av kongen. Det gikk imidleritd ikke mange år før området igjen ble solgt til private eiere - og da selvfølgelig til overklassen, gjerne til utenlandske stormenn: både tyskere, nederlendere, franskmenn og dansker eide området på denne tiden.