Rester av en bygdeborg og en gravrøys gjør at Vardås har status som fornminne. Vardås er en av tre bygdeborger på Nøtterøy som trolig stammer fra folkevandringstiden, de to andre er Leirfjell og Høgås. Mot slutten av andre verdenskrig begynte den tyske okkupasjonsmakten byggingen av et kystfort med kanonstillinger på Vardås.