任标和太原王氏所生的儿子。伯父任桃担任云中军将，任祥跟随任桃住在云中。六镇之乱爆发，他随怀朔镇将葛荣起兵，署为王。葛荣兵败，他率部归降北魏，担任镇远将军、广宁太守。封西河县公。中兴元年（531年）斛斯椿发难，任祥弃官北走，随晋州刺史高欢起兵，累进为光禄大夫，封魏郡公。中兴二年（532年）转任尚书左仆射，进位开府仪同三司。任祥虽位尊望重，能以宽和待人，时人称颂。永熙三年（534年）魏孝武帝西迁入关中，任祥担任持节南道大都督，出讨荆蛮。东魏建国，拜侍中。天平三年（536年），范阳卢仲延率河北流人在阳夏叛