香港日治時期，城寨嘅城牆俾日軍拆嗮，周邊一帶後嚟都被劃入英屬香港嘅九龍城發展區，寨城範圍進一步收窄到賈炳達道以北，得返衙門一帶約莫2畝半咁多地方，當地居民後期起樓都限住喺呢個範圍入面起。