中兴二年（532年）转任尚书左仆射，进位开府仪同三司。任祥虽位尊望重，能以宽和待人，时人称颂。永熙三年（534年）魏孝武帝西迁入关中，任祥担任持节南道大都督，出讨荆蛮。东魏建国，拜侍中。天平三年（536年），范阳卢仲延率河北流人在阳夏叛乱，西兖州百姓田龙聚众唿应，任祥担任大都督、东道军司，率都督元整、叱列陀讨伐。平河北流民，任行台仆射、骠骑大将军、徐州刺史。南朝梁元庆和派遣诸将攻打东魏国境，任祥在北济阴击败南梁仁州刺史黄道始，在单父击败梁儁，俘虏斩杀共一万人。再任侍中。天平四年（537年），颍州长史