氏县置灵山县，县城在今元氏县城的东城角村与西城角村之间。但是灵山县存在时间极其短暂，于大业元年（公元605年）再次并入元氏县。大业末年（约614-618年），元氏县城从今故城村所在地迁移到今元氏县城所在地。唐武德二年（619年），农民起义军窦建德的部将刘黑闼攻破元氏故城。随后县治南移，故城便从此荒废。
遗址.常山郡故城原为正方形，各边长1200米，占地144万平方米。城墙为夯土打筑，夯土每层5—10厘米。据当地农民讲，土层里很容易找到陶砖瓦片，城内地下还有古街道遗址，并且有人采集到