晋咸和二年（327年），前凉张骏攻取伊吾后，把伊吾划属敦煌郡治理，委派参军索孚为伊吾都尉。后西凉残部唐契、唐和兄弟二人和外甥李宝率余部，从武威（凉州）逃来伊吾，称伊吾王。北魏太安二年（456年），敦煌镇将尉眷率兵攻占伊吾，北魏太和十二年（488年），置伊吾郡。隋大业四年（608年），炀帝派裴炬和将军薛世雄率军屯驻伊吾。隋军在伊吾城东另建一座新城，号新伊吾。隋大业六年（610年）置伊吾郡，并在伊吾城之东北设立柔远镇。唐贞观四年（630年）置西伊州，辖伊吾（今哈密）、柔远（今沁城）、纳职（今四堡）三县。贞观