仁宗庆历三年（1043年），韩琦西征，杨文广以班行（即三班奉职，从九品武阶）从讨贼张海，以功授殿直（正九品武阶）。皇祐四年（1052年），彰化军节度使、宣徽南院使、荆湖北路宣抚使、提举广南东、西路经制贼盗事狄青南征侬智高，以知德顺军（在泾原路）杨文广为广南西路兵马钤辖，知宜州、邕州。积功升至左藏库使（从七品武阶）、带御器械（皇帝身边扈从，带其职用以增加威名）。宋英宗治平年间（1064年－1067年），皇帝谈起杨文广，称其为名将之后，又有战功，于是提拔其为成州团练使（从五品），加龙卫神卫四厢都指挥使（侍卫