遣诸将攻打东魏国境，任祥在北济阴击败南梁仁州刺史黄道始，在单父击败梁儁，俘虏斩杀共一万人。再任侍中。天平四年（537年），颍州长史贺若徽抓住颍州刺史田迅，举城投降西魏，任祥率豫州刺史尧雄讨伐。西魏派遣怡峰来援，任祥兵败，撤退到北豫州。与行台侯景、司徒高昂合兵，再攻颍川，最后攻克。元象元年（538年）八月初三日，在邺城去世。享年四十五岁。追赠使持节、太保、太尉公、録尚书事、都督冀定瀛幽安五州诸军事、冀州刺史。其子任冑嗣爵，因为勾结西魏作乱，在545年和儿子弟弟一起被处决。