晋武帝皇后杨芷的父亲杨骏素来与卫瓘不和，杨骏又想独揽大权，卫宣如果与繁昌公主离婚，卫瓘必定降职，就和黄门等官吏诋毁卫宣，劝晋武帝从卫宣那里接回繁昌公主