辉又和张容妃、陈慧勐两个民间妇人有了奸情，在陈留公主的鼓动下，兰陵公主再次和刘辉大闹。刘辉将兰陵公主推下床去，结果兰陵公主因流产致死，刘辉畏罪逃跑。灵太后再召清河王元怿审理其事，二家女髡笞付宫，兄弟皆坐鞭刑，徙配敦煌为兵。太后为公主举哀太极东堂，于河内郡温县抓住刘辉，幽禁在司州，将加死刑，会赦得免。正光三年（520年），恢复刘辉的官爵，转任征虏将军、中散大夫。正光四年（521年），刘辉卒，家族从此衰顿。