冒犯了他们，他们以其党羽薛杞为少尹，知府事，希望薛杞剥夺王徽实权，但王徽称薛杞刚丧父，应服丧，拒绝让他就职。这愈发激怒了权臣，王徽因而被免职召去成都。他被授太子少师——当时并无太子，这完全是荣誉职位，并被命令在河中退休养病。大约一百天后，太子少师也被免，光启元年（885年）僖宗回长安后复授太子少师，召回长安，他称病不就。宰相们责王徽不受皇恩，奏贬集州刺史，命他立即赴任。不数日，田令孜激怒了河中节度使王重荣和时任河东节度使李克用，他们攻打长安，僖宗逃到兴元。田令孜出逃前，称王重荣反了，下令火烧宫城，将宫室