赵眜能忠于臣属之职为名，请赵眜赴长安朝见汉武帝。赵眜怕被汉武帝找借口扣留，就一直称病没去，只是把太子赵婴齐送到了汉武帝身边做宿卫，长达10年之久。前125年，赵眜病重，赵婴齐向汉武帝请求回到南越国。同年，赵眜死去，赵婴齐继承王位。此前南越君主对汉朝自称「藩王」，在国中则自称「皇帝」。赵婴齐即位之后，废去了赵佗、赵眜在位时所称的帝号，在国中改称「国王」，将先帝的玉玺藏于国库中不再使用。赵婴齐去长安之前，曾经在南越娶当地的南越女人为妻，并生了长子赵建德，赵婴齐去长安做宿卫后，又娶了邯郸樛家的女儿做妻子，生了