家南逃避难。后汉枢密使郭威镇守邺都时，刘光义入其麾下，郭威建立后周成为周太祖时，刘光义任侍卫司龙捷右厢都指挥使。与赵匡胤、李继勋、石守信、王审琦、杨光义、刘守忠、刘庆义、韩重赟、王政忠等九人结为“义社十兄弟”。北宋建隆元年（960年）三月，从宋太祖征潞州李筠，任行营先锋使。次年，升任侍卫马军都指挥使、领宁江军（夔州，当时归后蜀）节度使。干德二年（964年）四月，率军到潞州守边防御北汉。十一月，宋攻后蜀，西川行营前军兵马都部署王全斌率宋军主力从陕西南下；刘光义为副都部署和都监曹彬率步骑二万，从归州沿长江西