寄治并州界。隋朝开皇五年（585年）置云州总管府。大业三年（607年）改为定襄郡，领大利县（治所在今和林格尔县境内），隋末被刘武周所据，改为云州。唐朝武德三年（620年），东突厥扶植的隋王杨政道以云州为都城。贞观四年（630年）唐灭东突厥，夺得云州、恒州之地，废除恒州和云中县的建制，地入云州。贞观十四年（640年），迁移云州和定襄县到云中县故地，治所在今山西省大同市的云州成立。原云州故地在唐高宗时设立单于都护府，唐中宗时设立东受降城，安史之乱后，设立振武军节度使。