På 1700-tallet ble gården Frekhaug eid av en rekke byborgere fra Bergen. I 1780 ble gården kjøpt av skipperborger Cort Abrahamsen Holtermann (1730–1813). Han oppførte trolig hovedhuset på gården og bodde der fast fram til sin døde. Albert Schriver kjøpte deretter gården i 1815. Han bodde her sammen sine tre ugifte søstre. Det finnes nedtegnelser av Elisabeth Welhaven fra et besøk hos Schriverfamilien rundt 1840. Fra 1914 var gården eid av Nordhordland indremisjon.