Bygda kan spores langt tilbake i tid og er nevnt i kilder så tidlig som på 1300-tallet. I dag - ca. 2005 - bor det ca. 130 mennesker på Kvalheim og folketallet holder seg stabilt.