父横海军（沧州，今河北沧州市东南）节度使刘守文为其弟刘守光所杀。刘光义之父刘延进举家南逃避难。后汉枢密使郭威镇守邺都时，刘光义入其麾下，郭威建立后周成为周太祖时，刘光义任侍卫司龙捷右厢都指挥使。与赵匡胤、李继勋、石守信、王审琦、杨光义、刘守忠、刘庆义、韩重赟、王政忠等九人结为“义社十兄弟”。北宋建隆元年（960年）三月，从宋太祖征潞州李筠，任行营先锋使。次年，升任侍卫马军都指挥使、领宁江军（夔州，当时归后蜀）节度使。干德二年（964年）四月，率军到潞州守边防御北汉。十一月，宋攻后蜀，西川行营前军兵马都部