埠之前，已经有艇户渔民在香港仔居住。开埠后除渔业外，香港仔一带也开始发展工业。1857年建成的夏圃船坞，是香港首个大型船坞，后来于1860年代被黄埔船坞收购发展成香港仔旱坞，其后成为香港四大船坞之一。20世纪初香港仔东部设立了大成纸厂，1920年代因香港仔水塘的扩建，导致不能再使用该水源，业务需要结束，原址后来发展为香港仔儿童工艺院（今香港仔工业学校）。初期居民大多居住在香港仔黄埔船坞东面的香岛道（今香港仔大道）及香港仔大街（今香港仔旧大街）一带，艇户则多聚居于香港仔避风塘内以及黄竹坑西面的十五间和涌尾海傍