Sandø har hatt fast bosetning og flere små gårdsbruk. Fra 1900-tallets begynnelse har øyas eiere vært bosatt andre steder og bebyggelsen har vært fritidsbebyggelse. Bebyggelsen er begrenset til øyas vestside, mot Sandøsund.