港仔的石排湾曾以转口香木制品而着名。当时由郭棐编撰的《粤大记》中，更载有多个位于现时南区的地名。在薄扶林水塘兴建以前，山上的水都会在瀑布湾的瀑布流入海里，而瀑布湾则邻近广州与外国的海路贸易航线，所以不少中外航海人士到该处取淡水补给。而区内薄扶林村，赤柱村及黄竹坑旧围更是香港岛少数由原居民建立的村落。他们曾多次向政府要求享有与新界原居民同等的待遇，但遭到政府拒绝。香港开埠时，赤柱为当时香港岛最繁盛的地区，英国人曾计划以赤柱为发展基地。然而由于赤柱土地狭少，加上当时该处爆发疫症，因此英国人决定转往香港岛