在1998年于朝鲁教练的指导下在内蒙古参与拳击训练。六年后，他入选国家队，张传良为他的教练。2004年6月，在广东佛山举行的全国锦标赛中，张小平击败解放军对手，夺得了81公斤级小项的冠军，是为他第一个的全国锦标。翌年10月于南京举行的十运会中，他在拳击项目的81公斤级小项的四强赛被金牌得主、江苏对手雷玉平以大比数击败，最终为内蒙古摘下一面铜牌。2006年，张小平先后赢得全国锦标赛与欧洲系列赛(第一站)的冠军。同年12月，他于多哈亚运，他参与了拳击项目的81公斤级小项，但以10点之差不敌塔吉克对手，在