疾病为辞没有赴任，不久兼任司空长史，担任征虏将军、太中大夫。卢义僖担任闲散的官职多年，淡然自得，李神俊劝他去见居于要职的掌权人物，卢义僖说：“学习先王之道，崇尚实行先王之志，怎么能苟且以求富贵呢？”孝昌年间，卢义僖担任散骑常侍。当时灵太后临朝听政，黄门侍郎李神轨势倾朝野，要求与卢义僖结为亲家。卢义僖料到李神轨必定会身败名裂，就拒绝了。王诵对卢义僖说：“古人不以一个女儿换五个儿子，您难道反过来了？”卢义僖说：“我之所以不答应，就是为了这个。答应了他，恐怕祸事来的又大又快。”王诵于是紧紧的握住卢义僖的手说：