村所在地迁移到今元氏县城所在地。唐武德二年（619年），农民起义军窦建德的部将刘黑闼攻破元氏故城。随后县治南移，故城便从此荒废。
遗址.常山郡故城原为正方形，各边长1200米，占地144万平方米。城墙为夯土打筑，夯土每层5—10厘米。据当地农民讲，土层里很容易找到陶砖瓦片，城内地下还有古街道遗址，并且有人采集到了古作坊遗物。<br>现今北城墙已消失，西城墙存有残留，南城墙与东城墙仅剩概貌。
南水北调工程避让遗迹.中华人民共和国南水北调工程的规划中途经该遗址