年仅十五，即能开两石弓。道光十五年（1835年），成武进士，授三等干清门侍卫。道光二十一年（1841年），选浙江衢州城守营都司。后调山东，任寿张游击。咸丰二年（1852年）抵御太平天国林凤祥、李开芳北伐军，身先士卒。咸丰三年（1853年）秋，曹县捻军势起，张遇祥用计擒杀首领陈九千岁等。太平军攻临清，张遇祥率部卒二百人，夜入敌营厮杀，右腿受矛伤，巡抚亲自验看，谕令其归养。然而新抚崇恩却疑其规避，奏参褫职，令解赴山东。张遇祥到营之后，崇恩始知其冤，慰劳备至。当时，金乡、鱼台、嘉祥、费县、鉅野、郓城、