Ifølge lokalhistorikeren Hans Chr. Mamen har noen vært av den oppfatning at det er rester etter bygdeborger på Vardåsen. Mamen skriver at disse borgene imidlertid var mer tilfluktssteder enn festninger. Folk tok med barn og buskap og søkte opp i høyden hvor det var vanskelig for ukjente å finne frem.