郡中部的属国都尉所辖地置张掖属国。汉安帝时，分张掖都尉辖地（居延县）置张掖居延属国。显美县改属武威郡。献帝兴平二年（195年），分日勒、番和、骊靬三县置西郡。建安中，又改张掖居延属国为西海郡。魏省西郡；晋复置，治日勒。又改觻得县爲永平县。十六国北凉沮渠蒙逊建都于张掖郡。隋开皇中置甘州。
隋朝张掖郡.大业中改甘州为张掖郡，改永平县为张掖县。唐武德中复置甘州。