落胡人。年轻时以骑射事唐末河东节度使晋王李克用，随李克用之子和继承人李存勖进入魏博，补突骑使，累迁本军都指挥使。
效力明宗.李存勖称帝，建立后唐，即后唐庄宗。同光四年（926年）二月，邺都士兵皇甫晖煽动兵变，是为邺都之变，拥立赵在礼为首领，三月，康义诚随庄宗养兄成德军节度使李嗣源前去征讨，军队生变，逼李嗣源做他们的君主，李嗣源不肯。康义诚进言：“主上不虑社稷濒危，不思战士劳苦，沉溺于畋猎、酒色、享乐。如今跟随大家，则有所归，一味坚守臣节，将要被杀死。”李嗣源采纳其言，从此委为心腹。