经成为走私热点之一。为兴建万宜水库、设立火石洲、牛尾海操炮区等等，殖民地政府更搬迁水陆居民到西贡墟、对面海、白沙湾一带居住，例如万宜湾新村、沙咀新村、官门渔村、万宜渔村、滘西新村等等，使西贡墟发展为西贡的市中心，直至近年才被将军澳新市镇所取代。而原新界理民府之一的西贡民政事务处（中文名曾名为西贡理民府，现属民政事务总署，但英文名不变），曾位于西贡墟内的亲民街34号西贡政府合署，但现已搬到位于将军澳坑口的西贡将军澳政府综合大楼。而前述安置居民的万宜湾新村、沙咀新村，以及将军澳新市镇，不少土地均是填海造地而来，