刘仁赡筑寨据守，怀德奉命深入敌营侦察，夜渡淮河，清晨兵临寿春城下，抓住一名敌兵，获得敌营情报，甚获世宗赏识。后因拥立赵匡胤称帝，娶燕国长公主为妻，加拜驸马都尉，升殿前副都点检。建隆元年（960年），昭义军节度使李筠起兵叛于上党（长治），太祖令怀德与石守信率兵进讨，北汉刘钧按兵不动，首战长平告捷，又破李筠部于泽州（山西晋城），李筠退守泽州。六月，赵匡胤亲征，李筠自焚而亡。建隆二年（961年），改封归德军节度。开宝六年秋，加拜同平章事，冬季，燕国长公主去世，辞去驸马都尉职位。宋太宗即位，兼任侍中，加检校太师