一向都遭兄弟们鄙视，而此时刘袆竟也和他联合，只是事情遭到征北谘议参军杜幼文告发而流产，柳欣慰等人被诛杀，刘袆亦被明帝逼令自杀。刘袆死后，宋明帝的兄弟就仅余四人，但到了他在位后期，他的健康情况不理想，屡次患病，他也就开始猜疑诸王，担心他们会危及自己太子刘昱的地位。首先是性格狠戾勇武的晋平王刘休祐，他在荆州其实都已经多次忤逆了明帝，明帝都怕他不能被太子驾驭，于是想借故除掉他。终于在泰始七年（471年）二月的一次打猎中找到机会派了寿寂之领人袭杀他，谎称他意外堕马重伤身亡。接着就是司徒刘休仁，休仁向来与明帝亲好