府恃宠专权。洛州妇人淳于氏长得很漂亮，逮捕到大理狱，李义府嘱咐毕正义枉法把他放出来，将纳之为妾，大理卿段宝玄，怀疑上奏。唐高宗命给事中刘仁轨等审问，李义府恐怕事情泄露，逼毕正义在狱中自缢。唐高宗知道后，没有追究李义府的罪责。李义府怨恨刘仁轨，让他出任青州刺史。