Anlegget sto ubebodd i lengre tid og forfalt. Familien Frimann overtok klostergodset i 1700. Karen Frimann og Magrethe de Fine eide gården sammen fra 1707. de Fine kjøpte klosterkirken i 1724. Da hun døde gikk kirken og hennes eierdel til Karen Frimann og Johan Garmann. Da Christopher Garmann (1720-79) flyttet hit i 1750, ble bygningene satt i stand og sterkt forandret. Christopher Garmann var sterkt opptatt av saueavl. Utstein Gard hadde da 120 smaler, men Garmann interesserte seg også for import av finullet engelsk sau og skrev en avhandling om tiltak til saueavlens forbedring. Spesielt anbefalte han sauehold på øyene, der det ikke er rovdyr, mens kystklimaet er mildt, med vegetasjon egnet for sauefôr. I tillegg mente Garmann at saltinnholdet i tangen virket sykdomsforebyggende for sauene. Garmann forsynte sauebønder i Stavanger amt og Bergen stift med avlsdyr, og regnes som den første i Norge som la om til helårsbeitende besetning. Garmanns andre kone, Cecilie Widding Garmann (1734-59), døde i barsel i 1759 og ble gravlagt ved klosterkirkens vestvegg. Enkemannen skal ha lovet aldri å gifte seg igjen, men 20 år senere gjorde han det likevel. Under bryllupet i Stavanger domkirke mente Garmann å se Cecilie. Han falt i koma og døde en uke senere. I dag hevdes Cecilie å være klosterets spøkelse, kalt «Den hvite dame».