储君之位转予弟弟豫章王萧嶷，崇祖却一直没有依附他。崇祖在成功防御北魏进攻后得诏还朝与高帝密议，这引起武帝的怀疑，遂特意礼待崇祖，并在酒后向崇祖说：「一直流传的流言我都没有放在心内了，今天之后，我的富贵就託付给你了。」崇祖遂下拜陈谢。可是，崇祖走后却接到荀伯玉宣布高帝边境有事的口敕，当夜就走了，没有去东宫辞行，武帝当时就记恨崇祖不是真诚对他。现在武帝将崇祖调回朝就是怕崇祖有异心，但最终还是在永明元年四月九日（483年5月1日）下诏宣布他「去岁在西，连谋境外，无君之心，已彰遐弥……－随与荀伯玉驱合不逞，窥窬非觊