Det finnes ikke noe belegg for at kjøpstedsbygningen kom før ut i 1600-årene. Da overtok Dam Tønnessøn gården. Han regnes for den som har gitt navn til gården (skrivemåte inntil 1917), som første gang nevnes i Bergens sagefallsregnskap i 1643. I 1600-årene brukes gårdsnavnene Håsteinar og Damsgård om hverandre.