Halsnøy kloster var et av fem augustineranlegg i middelalderen. Ifølge en senere, men likevel antatt troverdig, skriftlig kilde skal klosteret være grunnlagt i 1163–64 av jarlen Erling Skakke, i sammenheng med at sønnen Magnus Erlingsson ble kronet til norsk konge. Halsnøy kloster fikk i løpet av middelalderen store jordeiendommer og ble et av de rikeste klostrene i norsk middelalder. Ved reformasjonen i 1536 ble klosteret nedlagt og gikk da over til å være krongods, i likhet med mange andre klostereiendommer i Norge. Fra 1539-1659 ble Halsnøy kloster organisert som et len med egen lensherre. I 1664 ble lenet slått sammen med Hardanger amt til Søndhordland og Hardanger fogderi under Bergenhus stiftamt. Futen, Kammerråd Andreas Juel fikk i 1758 kjøpe futegården Kloster. Det meste av klostergodset ble solgt i siste halvdelen av 1700-tallet. Fra 1758 og fram til 1956 har gården Kloster blitt drevet som storgård/herregård av Juel-familien. Rundt 1840 ble restene av det indre klosteranlegget og kirkeruinen revet av løytnant Andreas Juel, og nytt våningshus bygget av steinen.