威张贵妃的外甥，张同芝外孙。后周显德三年（956年），改潼关监军，迁西上阁门使。五年（958年），奉诏出使吴越，奉诏赐吴越国王铠甲、弓弩、枪剑，及中吴军节度使钱文奉国信。六年（959年），判四方馆事，出为晋州兵马都监，转引进使；严于治军，尤重军纪。宋太祖建隆二年（961年），转客省使，与王全斌、郭进领步骑万余人攻乐平县，降北汉将王超、侯霸荣等一千八百人，获千余人。太祖干德初，改左神武将军，充内省客使。干德二年（964年）率军灭后蜀，以不滥杀着称，王仁赡曰：“清谦畏谨，不负陛下任使者，惟曹彬一人耳。”升宣徽南