参褫职，令解赴山东。张遇祥到营之后，崇恩始知其冤，慰劳备至。当时，金乡、鱼台、嘉祥、费县、鉅野、郓城、城武七县均被捻军攻陷，张遇祥召集旧部六百人，自为一队，克复七城，官复原职，因伤势发作，回籍调养。咸丰十一年（1861年），山东白莲教众联合回、捻北攻直隶，胜保久战无功，于是聘请张遇祥助战。张遇祥招募乡中子弟五百人，星夜驰往，一战败之。胜保南移馆陶，张遇祥率军阻挡敌军渡河，苦战两昼夜，旧伤复发，又中矛数十处，于十一月七日力竭而殁。《清史稿》有传。