Fra første halvdel av 1300-tallet ble gården brukt som bosted for tyske kjøpmenn om vinteren. Fra 1370-årene ble deler av gården kjøpt av tyskere. Etter bybrannen i 1702 ble gårdene gjenreist. I 1763 kjøpte Hildebrand Harmens (1736–1813) seg inn gården, hvor han drev kommisjonshandel, eksport av tørrfisk og import av korn, salt og hamp. Harmens ble senere eier av Fantoft, Storetveit og Slettebakken hovedgård og ved sin død skal han va vært en av Bergens rikeste borgere. Regnskapsbøkene fra Holmedalsgården er bevart fra 1700-tallet.