宝七年（974年）率水陆军10万攻灭南唐，次年克金陵，又决策伐北汉和攻辽，以功擢枢密使、检校太尉、忠武军节度使。及宋太宗即位(976年)，加同中书门下平章事。太平兴国三年，进检校太师，从征太原，加兼侍中。八年正月，因遭镇州驻泊都监、酒坊使弥德超诬陷，罢枢密使，为天平军节度使兼侍中，六月王显任枢密使。。但十多天后，太宗就醒悟过来，进封曹彬为鲁国公。雍熙三年（986年），宋分兵三路攻契丹，他为东路军主将，因孤军冒进、兵疲粮乏撤军，至岐沟关（今涿州西南）被契丹军击败，致宋军全线溃退，降右骁卫上将军（环卫官，从二品