由隋朝的伊吾郡改置。
唐朝.贞观四年（630年），改为西伊州。贞观六年（632年），再改回伊州之名。辖区约相当于今新疆维吾尔自治区哈密市之境。唐代伊州管县三：伊吾县，柔远县，纳职县。伊州治所在伊吾县（今新疆维吾尔自治区哈密市伊州区）。8世纪晚期，被吐蕃所占。大中五年（851年），沙州人张义潮收复，后来隶属于归义军。
归义军.北宋太平兴国六年（981年），宋太宗派王延德出使西域时，当时仍然称伊州，州将陈氏自称从唐朝开元年间以来就世守伊州。