今长垣县西南）人。少时倜盪，为人豪放，早年是县衙捕头，后因事入狱，几为狱卒折磨至死，后逃脱。从永平军，代宗大历年间，因功当上了永平军牙将。袭破宋州，为宋州刺史，加封为御史中丞。建中二年击败李纳，斩首万余级，功加御史大夫。又克濮州，杨令晖投降。又与淮西节度使李希烈殊死战，多有战胜，希烈攻陈州，刘洽遣刘昌与诸军救之。在陈州大破李希烈，夺取汴州，为汴宋节度使、陈州诸军行营都统，唐德宗回长安，赐名为刘玄佐。官至泾原四镇北庭等道兵马副元帅。玄佐厚赏军士，颇得民心，知错能改，一日欲杀翟行恭，为谋士郑涉所劝阻。贞