遵依照法将其处死。刘秀大怒，逮捕祭遵。主簿陈副谏曰：“明公常欲众军整齐，遵奉法不避，是教令所行，奈何罪之？”不久赦免了祭遵，加封刺奸将军。建武二年（26年），任征虏将军，封颖阳候。建武六年（30年）春，伐公孙述。建武八年（32年）秋，随帝由陇道西上，出征隗嚣。建武九年（33年）春，诏命祭遵整军西征，攻取略阳，途中发病，不能骑马，用担架抬回汧城，赐以重茵。建武九年（33年），独守冲难，病死汧城军营。讣至洛阳，光武帝悲悼异常，常叹息说：“安得忧国奉公之臣，如祭征虏者乎！”
家人.堂