在云中。六镇之乱爆发，他随怀朔镇将葛荣起兵，署为王。葛荣兵败，他率部归降北魏，担任镇远将军、广宁太守。封西河县公。中兴元年（531年）斛斯椿发难，任祥弃官北走，随晋州刺史高欢起兵，累进为光禄大夫，封魏郡公。中兴二年（532年）转任尚书左仆射，进位开府仪同三司。任祥虽位尊望重，能以宽和待人，时人称颂。永熙三年（534年）魏孝武帝西迁入关中，任祥担任持节南道大都督，出讨荆蛮。东魏建国，拜侍中。天平三年（536年），范阳卢仲延率河北流人在阳夏叛乱，西兖州百姓田龙聚众唿应，任祥担任大都督、东道军司，率都督元