年（534年）魏孝武帝西迁入关中，任祥担任持节南道大都督，出讨荆蛮。东魏建国，拜侍中。天平三年（536年），范阳卢仲延率河北流人在阳夏叛乱，西兖州百姓田龙聚众唿应，任祥担任大都督、东道军司，率都督元整、叱列陀讨伐。平河北流民，任行台仆射、骠骑大将军、徐州刺史。南朝梁元庆和派遣诸将攻打东魏国境，任祥在北济阴击败南梁仁州刺史黄道始，在单父击败梁儁，俘虏斩杀共一万人。再任侍中。天平四年（537年），颍州长史贺若徽抓住颍州刺史田迅，举城投降西魏，任祥率豫州刺史尧雄讨伐。西魏派遣怡峰来援，任祥兵败，撤退到北豫州。