其姿色，暗中勾结大理丞毕正义将其释放并收为情妇，后事机败露，毕正义自杀，御史王义方上书弹劾，反被李义府仗势贬逐出京。显庆二年（657年）初，李义府兼中书令、检校御史大夫，加太子宾客，进封河间郡公；显庆四年（659年）八月，兼吏部尚书、同中书门下三品。高宗龙朔三年（663年）初，李义府升右相。因听信阴阳师杜元纪蛊惑，李义府开始利用权势大肆敛财，收受贿赂甚至公然买卖官职，使得朝野不满，遭右金吾仓曹参军杨行颖告发其“窥觇灾眚，阴怀异图”，司刑太常伯（即刑部尚书）刘祥道等人负责审理，由于李义府权势过大，司空李勣