州江陵人，祖籍南阳涅阳县（今河南省邓州市），南朝梁尚书右丞刘之遴的曾孙。
生平.生年不详。隋末，仕萧铣，任黄门侍郎。入唐，初授南康州（今江西赣县一带）都督府长史。贞观七年（633年），拜给事中，封清苑县男爵位，转调任治书侍御史。崇魏征，个性通达而任事严谨，以敢言闻名。贞观十三年，唐太宗欲查看起居註，谏议大夫兼知起居註褚遂良拒绝。黄门侍郎刘洎支持褚遂良并进言：「人君有过失，如日月之蚀，人皆见之。设令遂良不记，天下之人皆记之矣。」拜为尚书右丞，累官散骑常侍。贞观十四年有一日，太宗在玄