区于地理上可分为「西贡及西贡乡郊」和「将军澳及清水湾半岛」两部份。由于香港历史分区的原因，位于半岛上的西贡北地区（包括北潭坳、黄石码头、海下湾、以及位于西沙路沿线的十四乡、泥涌等地），为大埔区管辖的外飞地。西贡区西南部分的大上托及其西坡上的安达臣道石矿场本来爲西贡区与观塘区之间接壤的边缘地区，与西贡市和将军澳均有山峦阻隔，大上托的西坡与观塘区的四顺和秀茂坪在地理上和交通上实爲一体，而与属观塘区安达臣道发展区的公营房屋区更是只有一街之隔，故此随着安达臣道石矿场发展计划的启动，当地将来有可能会被改划至观