所在长陵城（今陕西省咸阳市东北三十里怡魏村附近汉高帝陵），属雍州。北魏太和十一年（487年）徙治池阳（今陕西泾阳），下领五县。太和二十年（496年）迁治于泾水北（今泾阳县城），领池阳、泾阳、石安、灵武、宁夷5县。辖境相当今陕西咸阳市及泾阳县、礼泉县。西魏大统四年（538年）废，后复置，改领池阳、泾阳、石安三县。北周亦曾有废兴，北周建德三年（574年）撤销咸阳郡。后复置咸阳郡，移治石安县（今咸阳市东北窑店镇北）。隋朝开皇三年（583年），撤销咸阳郡。此后再未设置过咸阳郡。