Aga var i gammel tid et høvdingsete, og flere gamle gravhauger tyder på svært tidlig bebyggelse. Gården var en av de største i Hardanger gjennom middelalderen, og har hatt tett tilknytning til flere vestlandske adelsætter.