荒淫无道，僧孺数次上表求任外职，任鄂州刺史、武昌军节度使、鄂岳蕲黄观察使。太和三年（829年），李宗闵向文宗推荐牛僧孺，召为兵部尚书。早期因与皇甫湜、李宗闵两人批评了宰相李吉甫，李吉甫被贬淮南节度使，李吉甫之子李德裕遂与之相恶。牛僧孺与李逢吉、李宗闵等引为一党，李德裕亦广结朝士以相磨轧。以牛僧孺、李德裕分别为首的两大派系，互相争权。牛僧孺当权时，李系官僚被放逐边疆；李德裕当权，牛系官僚也被驱逐到边疆。史称“牛李党争”。文宗曾有“去河北贼易，去朝廷朋党难”的感慨。后来不管牛党或李党都必须跟宦官合作，倚