老，权高位重，吕氏宗族全都与王室联姻通婚，“其相吕嘉年长矣，相三王，宗族官仕为长吏者七十余人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连。其居国中甚重，越人信之，多为耳目者，得众心愈于王。”而根据越南方面《大越史记全书·赵纪》的说法，「丁巳、元年，汉元朔五年，以吕嘉为太傅。」吕嘉在前125年赵婴齐即位后兼任南越国的太傅。
汉使入越.公元前135年，南越国第二代君主赵眜被迫把太子赵婴齐送到汉武帝身边做宿卫长达12年之久。赵婴齐去长安之前，曾在南越娶当地的南越女人为妻，并生长子赵建