Bygningen ble brukt som embetsmannsgård fra 1637 til 1790, da ble flyttet til Helleland ved Lofthus. Hesthamar fikk en rekke ulike eiere i tiden fram til 1882, da Kinsarvik Sparebank overtok gården. I 1888 ble gården overdratt vederlagsfritt til Ullensvang fattigstyre. I 1902 overtok kommunen skjøte på eiendommen og brukte denne som fattiggård og fattighjem for 20 personer. I 1923 ble hovedbygningen på fredet som kulturminne av Riksantikvaren. Gården ble i 1935 stilt til rådighet for Hardanger Jordbruks- og fruktdyrkingsskule. Skolen ble nedlagt i 1957 og i noen år ble bruket drevet av heradet selv, før det i 1960 ble paktet bort til andre. Etter avtale med kommunen disponerte filosof Arild Haaland huset mellom 1973 og 2005.