府第园林都冠绝当时，更招集文武人士入府及收藏精良兵甲，这都令孝武帝很不满意，于是在孝建二年十月壬午（455年11月19日）改刘诞任使持节、都督南徐兖二州诸军事、太子太傅、司空、南徐州刺史，将之调离建康。不过南徐州治所京口离建康很近，孝武帝仍然不安心，遂在大明元年八月甲辰（457年10月1日），又调刘诞都督南兖南徐兖青冀幽六州诸军事、南兖州刺史，驻地转为江北的广陵。原来的南徐州刺史由宋孝武帝的心腹重臣刘延孙接任，防堵刘诞对建康的军事威胁。刘诞亦知兄长对他的猜疑，于是託辞北魏进攻而修治城池及积聚军需品，以作防备