史书形容此时的李义府“貌状温恭，与人语必嬉怡微笑”，笑里藏刀，人号“李猫”。显庆元年（656年），洛州有一妇人淳于氏因通姦入狱，李义府垂涎其姿色，暗中勾结大理丞毕正义将其释放并收为情妇，后事机败露，毕正义自杀，御史王义方上书弹劾，反被李义府仗势贬逐出京。显庆二年（657年）初，李义府兼中书令、检校御史大夫，加太子宾客，进封河间郡公；显庆四年（659年）八月，兼吏部尚书、同中书门下三品。高宗龙朔三年（663年）初，李义府升右相。因听信阴阳师杜元纪蛊惑，李义府开始利用权势大肆敛财，收受贿赂甚至公然买卖官职，