，父亲卢敏去世，卢义僖就有卓绝的品性。卢义僖年少时为仆射李冲所叹赏，以秘书郎为起家官，历任太子舍人、司徒中郎。神龟初年，任城王元澄上奏保举卢义僖，卢义僖被授任散骑侍郎，转任冠军将军、中散大夫，由于母亲去世服丧离职。幽州刺史王诵与卢义僖交好，常常与老朋友李神俊等人写信说：“卢冠军在这里，时常反复来往关怀问候，他总是停留好几天，我们得以向他咨询为政之道。”卢义僖受到的器重就是这样。齐王萧宝寅启用卢义僖为开府咨议参军，卢义僖以疾病为辞没有赴任，不久兼任司空长史，担任征虏将军、太中大夫。卢义僖担任闲散的官职多年，淡