位真是可惜了！」晋武帝明白他是在暗示将来会坐上御床的太子才能与资质不足以承担帝位，遂装煳涂说：「你真是喝的太醉了吧？」卫瓘知道武帝不愿更换太子，亦不敢再提此事了。不过这就令太子妃贾南风因此而怨恨卫瓘。太熙元年（290年），晋武帝患病，时权势极盛的外戚杨骏与卫瓘亦不和，为了在外甥惠帝继位后得独专大权，于是想借让卫宣与繁昌公主离婚而逼令衞瓘退位离开朝廷。杨骏遂与黄门以卫宣之前有过的酒色过失造文章谤譭他，让晋武帝下令繁昌公主离婚，卫瓘亦被逼自求退位，获崇为太保，以公爵还第。同年，武帝去世，惠帝即位，由杨骏单独