216年，曹操拘留唿厨泉单于，派右贤王去卑监国，将南匈奴分成五部，即左、右、南、北、中，分别安置在陕西、山西、河北一带。咸熙年间，左贤王刘豹之子刘渊，至曹魏首都担任人质。在去卑死后，其子刘勐继为右贤王，统率部众，但因不服晋朝命令，271年起事攻打并州，失败。272年，遭暗杀而死。刘渊多次向晋朝请求回到故乡，但不被允许。在刘豹死后，刘渊继为左贤王，回到并州。290年，杨骏封刘渊为五部大都督，总理南匈奴五部。司马颖出镇邺城时，将刘渊召到邺城为人质，同样封其为宁朔将军，监理南匈奴五部。八王之乱期间，右