655年），李义府被太尉长孙无忌厌恶，上疏建言将其贬为壁州司马，敕旨从中书省发往门下省时，中书舍人王德俭因与李义府交好而向其密告。为求自救，李义府率先支持废王立武而得到高宗重视。史书形容此时的李义府“貌状温恭，与人语必嬉怡微笑”，笑里藏刀，人号“李猫”。显庆元年（656年），洛州有一妇人淳于氏因通姦入狱，李义府垂涎其姿色，暗中勾结大理丞毕正义将其释放并收为情妇，后事机败露，毕正义自杀，御史王义方上书弹劾，反被李义府仗势贬逐出京。显庆二年（657年）初，李义府兼中书令、检校御史大夫，加太子宾客，进封河间郡公；