好文章书籍，招集才义之士，因此朝野莫不属意。而后废帝狂凶失道，内外皆谓刘景素宜当帝位，唯有刘昱母族陈氏亲戚疾忌刘景素，而杨运长、阮佃夫虑刘景素立，不见容于长主，深相忌惮。刘景素派遣季豫之、王潭、贺文超等去来京都，多赠与金帛，要结才力之士。因此冠军将军黄回、游击将军高道庆、辅国将军曹欣之、前军韩道清、长水校尉郭兰之、羽林监垣祗祖并皆响附，其余武人失职不得志者，莫不归之。元徽四年（476年）七月，垣祗祖率数百人投奔刘景素，说京都已溃乱，劝刘景素下令速入京都。刘景素相信他，立即举兵，背负戈戟至者数千人。杨