元前2世纪初，称伊吾卢，属匈奴，为唿衍王王庭。东汉永平十六年（73年），明帝征匈奴取得伊吾卢，置宜禾都尉屯田。章帝时罢屯田，又归匈奴。三国属鲜卑西部。晋属敦煌郡，置伊吾都尉。后前凉取之，仍置伊吾都尉。北魏置伊吾郡。后为西突厥佔据。隋大业六年（610年），炀帝派薛世雄攻取，建筑新城，置伊吾郡，并号称是新伊吾。隋末复为西突厥乘乱夺据。唐贞观四年（630年），内附，置西伊州。贞观六年（632年），置都督府，并改名伊州，下设伊吾、纳职和柔远三县，其中今日的哈密当时即属柔远县管辖。天宝初年，改为伊吾郡，不久又恢复原样