少年投军为文书，杨遇春推荐他做了将校。嘉庆年间镇压川楚白莲教之乱，为斥候侦骑。后任总兵、提督。嘉庆十八年（1813年），随那彦成镇压林清、李文成天理教之变。道光六年（1826年），杨芳到新疆，参与平定张格尔之乱。道光十八年正月十四，由湖南镇镇总兵官升任广西提督。道光十八年正月十七（1838年2月11日），同湖南提督互调。道光二十年（1840年），鸦片战争爆发，杨芳随参赞大臣奕山赴广东迎敌，用阴门阵对抗英国军舰，被时人和后人嘲笑。失败后，畏敌主和。之后回任湖南提督。