建功，可是竟引来孝武帝猜忌。而刘诞的精巧府舍以及美丽园池，加上招聚的人才以及府中的精美装甲武器，更令孝武帝深深不忿。孝建二年（455年），孝武帝将刘诞自扬州刺史职位调至南徐州刺史，将他移离京畿，但其实南徐州所在的京口离建康也很近，亦未能消除孝武帝的疑忌。大明元年（457年），刘诞改调为南兖州刺史，移镇江北的广陵，此时刘诞都察觉得兄长对他的猜忌，自己也暗中作准备，声言以防备北方侵略而修筑城墙，聚集粮食以及准备兵器。孝武帝与刘诞的嫌隙浮现，令时常都有刘诞打算谋反的传言，最终孝武帝在大明三年（459年）四月决定派