帝西巡时命废帝参侍侯起居，就因为字迹差而被骂，甚至被孝武帝指他「素都懈怠，狷戾日甚，何以固乃尔邪！」废帝即位后初亦受制于戴法兴等人，但自法兴等被杀后，就没有人敢阻遏废帝行事，很多大臣都被打，人心骚动。废帝虽然多有猜忌逼害宗室的举动，但对于同胞所生的刘子尚及山阴公主刘楚玉却相当亲近，经常一同行动，子尚性情亦有如废帝那样。废帝曾应公主的要求赐其面首三十，并命当时的美男子尚书吏部郎褚渊侍候公主十天。不过废帝年轻时都有好学一面，故也对古事有一定认识，所作的《世祖诔》及一些杂篇都不乏有文采的地方，又曾仿效曹操