Den eldste bebyggelsen på Skilsøy finner man langs sjøen. Nyere bebyggelse har kommet til oppover skråningene og på toppen av den bratte øya.