汉代南部为伊吾卢，北部为蒲类。西汉神爵二年（前60年）设西域都护府，伊吾卢和蒲类国归西域都护府管辖。东汉永平十六年（73年）置宜禾都尉，建初六年（81年）置伊吾司马。三国时代，魏在哈密置宜禾都尉，东晋咸和二年（327年），前凉张骏攻取伊吾后，把伊吾划属敦煌郡治理，委派参军索孚为伊吾都尉。后西凉残部唐契、唐和兄弟二人和外甥李宝率余部，从武威（凉州）逃来伊吾，称伊吾王。北魏太安二年（456年），敦煌镇将尉眷率兵攻占伊吾，北魏太和十二年（488年），置伊吾郡。隋大业四年（608年），炀帝派裴炬和将军薛世雄率军