又兼太子舍人，加崇贤馆直学士，其文名与时任太子司议郎来济齐名。任太子舍人其间，李义府献《承华箴》，词藻华美，受太子赏赐布帛四十匹，并令其参与预撰《晋书》。高宗永徽六年（655年），李义府被太尉长孙无忌厌恶，上疏建言将其贬为壁州司马，敕旨从中书省发往门下省时，中书舍人王德俭因与李义府交好而向其密告。为求自救，李义府率先支持废王立武而得到高宗重视。史书形容此时的李义府“貌状温恭，与人语必嬉怡微笑”，笑里藏刀，人号“李猫”。显庆元年（656年），洛州有一妇人淳于氏因通姦入狱，李义府垂涎其姿色，暗中勾结大理丞毕