。于是宝藏巖开始出现居民，并陆续盖起数十户的平房住宅。这些与宝藏巖相邻的住宅并非观音妈庙的信徒，也与庙方毫无来往，多是单纯的寻找住所的驻军或荣民老兵或其家属，于是这些违章建筑渐渐成为聚落。1965年，宝藏巖下方之新店线铁路（1921年开业）连同邻近的水源地车站废止。铁路基地改建为公路汀州路，亦成为宝藏巖日后对外要道。1970年代初，北区司令部迁移，违建兴建速度更快，至1980年代止，已接近四公顷约两百多户人家。只有一条巷道进入的宝藏巖违建社区建筑依山形建立，除了三至五间将领用官舍及40间合法军方单身