到晋惠帝太安中（302年─303年），因河间王司马颙、成都王司马颖、齐王司马冏、长沙王司马乂等诸王相互残杀，益州刺史部流民起义爆发，各地局势不稳，在并州刺史部的匈奴五部右贤王刘宣等人也酝酿着反晋兴匈奴。右贤王刘宣与各部贵族商议共推刘渊为大单于，并派唿延攸告诉在邺城的刘渊，刘渊让唿延攸先回去告诉刘宣等召集各部，声言聚集五部协助司马颖，实际是为反晋作准备。晋惠帝永兴元年（304年）三月，司马颖等攻占洛阳，司马越挟持晋惠帝攻邺，司马颖打败司马越，并虏获晋惠帝。八月，司马越势力王浚、司马腾攻邺城，刘渊请求带