Den «indre delen» av Åsvær, som bærer navnet «Åsværgården», hadde i lange tider fastboende som drev gårdsbruk og fiske. I dag er det bare «turister» som besøker stedet, og husene brukes som fritidsboliger.