因营救长子犯罪流配一事而被唐玄宗贬为安州都督府别驾，不久便去世，享年六十一岁。有六子：刘贶、刘餗、刘汇、刘秩、刘迅、刘迥。有一女刘氏（714年—771年三月）嫁李神通玄孙洺州清漳县尉李衡。
关于刘氏源流的考证.刘知几考证刘氏不是尧的后裔，而是陆终的苗裔，彭城丛亭里刘氏也不是楚元王刘交的后裔，而是汉宣帝之子楚孝王刘嚣曾孙居巢侯刘恺的后裔。