Vardåsen er delt i to av Raatadalen, som skjærer inn i Vardåsen fra sør ved for Hauger gård. I denne dalen gikk fra gammelt av allfarveien fra gårdene i Askerbørskogen til Dikemark og Asker. I tillegg til å være kirkevei til Asker kirke, skal veien ha vært del av en gammel pilegrimsled. Den delen av åsen som ligger vest for Raatadalen heter Slottsberget, og ble fra gammelt av ikke regnet til Vardåsen.