聪慧，贞观八年（634年）受剑南道巡察大使李大亮举荐，补门下省典仪。经刘洎、马周等极力荐举，任监察御史，隔年又兼太子舍人，加崇贤馆直学士，其文名与时任太子司议郎来济齐名。任太子舍人其间，李义府献《承华箴》，词藻华美，受太子赏赐布帛四十匹，并令其参与预撰《晋书》。高宗永徽六年（655年），李义府被太尉长孙无忌厌恶，上疏建言将其贬为壁州司马，敕旨从中书省发往门下省时，中书舍人王德俭因与李义府交好而向其密告。为求自救，李义府率先支持废王立武而得到高宗重视。史书形容此时的李义府“貌状温恭，与人语必嬉怡微笑”，笑