纪中期，开始有外姓人移入村内居住，村民亦陆续获分配单位而搬离村庄，村庄自此步向衰落。值得留意的是，衙前围村位于新九龙，根据《香港法例》第1章释义及通则条例附表5而言位处新界，但该村原居民与其他九龙十三乡原居民一样，并不符合新界原居民资格，不可按新界小型屋宇政策申请兴建丁屋。
拆除.由于衙前围村位处九龙闹市，多年来一直成为政府及发展商埋手重建的目标。1960年代，香港政府已开始商讨清拆该围庄，60年代提出征用衙前围作徙置区，要求他们到荃湾另建新村安置，结果村民反对，告上伦敦高院而