李固言冒犯自己，说：“臣知堪，故用为刺史。举天下不职的岂止这二人？”三年（838年）正月，文宗命起居舍人魏谟献其祖上魏征之笏，郑覃说：“在人不在笏。”文宗说：“你没会我意，这也是甘棠之比。”这时李石、李固言都已不是宰相，和郑覃共事的是陈夷行、杨嗣复、李珏。杨嗣复与郑覃尤其有矛盾，李固言、李珏介入更激化纷争。杨嗣复数次推荐进士杜胜之材堪任谏官，郑覃不用。二月，郑覃进位太子太师。不久，宰相间就发生了争执，郑、陈为一派（都被认为是李党），杨、李为一派（都被认为是牛党）。当月杨嗣复提请把被贬为衡州（今湖南衡阳）