之后，赵彦徽与张光翰首先被罢军职，解除他们的兵权，赵彦徽的军职为罗彦瓌所接替，张光翰为韩重赟接替。赵彦徽改为建雄军（晋州，今山西临汾）节度使。干德元年（963年）十二月，宋太祖遣内容省使曹彬、通事舍人王继筠分诣晋州、潞州，与节度使赵彦徽、李继勋会兵入北汉境，攻其边邑及辽州、石州。赵彦徽在晋州不恤民事，专务聚敛，私帑所藏鉅万，宋太祖虽然知道，但没有对他惩戒。赵彦徽入朝，宋太祖设宴款待，因饮酒过度得病，送回晋州，开宝元年（968年）五月，病故。