观十四年（640年），因故杖毙折沖都尉鲁宁，为唐太宗所赞赏，后累迁给事中。显庆元年，刘仁轨因处理大理寺丞“毕正义案”得罪李义府，贬青州（山东省青州市）刺史。显庆五年（660年），唐高宗攻百济，督海运遇风覆船，所部死伤严重，朝廷派监察御史袁异式审讯，李义府暗示袁异式：“君能办事，不忧无官。”李义府对唐高宗说：“不斩仁轨，无以谢百姓。”舍人源直心说：“海风暴起，非人力所及。”仅将之免职，以白衣随军自效。龙朔元年（661年）三月，唐军留郎将刘仁愿率数千唐兵留守百济城，以左卫郎将王文度为熊津都督，不久王文度病死